php抓取网页数据插入数据库(1.问题如何对txt、csv大文件进行读取并导入数据库？)

　　php抓取网页数据插入数据库(1.问题如何对txt、csv大文件进行读取并导入数据库？)

　　1.问题

　　如何读取大型txt和csv文件并将它们导入数据库？

　　2.原理

　　对于百万条数据的txt和csv文件，文件大小可能会达到数百兆，如果只是简单读取，可能会超时或者卡死。

　　为了将txt和csv文件中的数据成功导入到数据库中，批处理是非常必要的。函数应该采用行定位的思想，通过跳过起始行号来实现文件指针定位。

　　3.解决

　　这个函数是读取文件中指定的几行数据：

　　/**

* csv_get_lines 读取CSV文件中的某几行数据

* @param $csvfile csv文件路径

* @param $lines 读取行数

* @param $offset 起始行数

* @return array

* */

function csv_get_lines($csvfile, $lines, $offset = 0) {

if(!$fp = fopen($csvfile, 'r')) {

return false;

}

$i = $j = 0;

while (false !== ($line = fgets($fp))) {

if($i++ < $offset) {

continue;

}

break;

}

$data = array();

while(($j++ < $lines) && !feof($fp)) {

$data[] = fgetcsv($fp);

}

fclose($fp);

return $data;

}

　　4.调用方法

　　5.结论

　　以上功能已针对500M以内的文件进行测试，运行流畅。对于较大的文件，它尚未经过测试。请考虑使用它或改进它。