php抓取网页数据插入数据库(PHP如何对CSV大文件进行读取并导入数据库？)

　　php抓取网页数据插入数据库(PHP如何对CSV大文件进行读取并导入数据库？)

　　PHP 如何读取大型 CSV 文件并将其导入数据库？

　　对于收录数百万数据的 CSV 文件，文件大小可能达到数百兆字节。如果只是简单地读取，很可能会超时或卡住。

　　为了将CSV文件中的数据成功导入到数据库中，批处理是非常必要的。

　　以下函数读取 CSV 文件中指定的某些数据行：

/**

* csv_get_lines 读取CSV文件中的某几行数据

* @param $csvfile csv文件路径

* @param $lines 读取行数

* @param $offset 起始行数

* @return array

* */

function csv_get_lines($csvfile, $lines, $offset = 0) {

if(!$fp = fopen($csvfile, 'r')) {

return false;

}

$i = $j = 0;

while (false !== ($line = fgets($fp))) {

if($i++ < $offset) {

continue;

}

break;

}

$data = array();

while(($j++ < $lines) && !feof($fp)) {

$data[] = fgetcsv($fp);

}

fclose($fp);

return $data;

}

　　如何调用：

　　该函数主要采用行定位的思想，通过跳过起始行号实现文件指针定位。

　　至于数据在数据库中是如何存储的，本文不再详细介绍。

　　以上功能已针对500M以内的文件进行测试，运行流畅。它尚未针对较大的文件进行测试。请考虑使用或改进。

　　这个PHP读取大型CSV文件导入数据库的例子就是编辑器共享的所有内容。希望能给大家参考，也希望大家多多支持。