php抓取网页数据插入数据库(这里有新鲜出炉的PHP面向对象编程,程序狗速度看过来!)
优采云 发布时间: 2022-04-07 20:07php抓取网页数据插入数据库(这里有新鲜出炉的PHP面向对象编程,程序狗速度看过来!)
这里是新鲜出炉的PHP面向对象编程,程序狗的速度来了!
PHP开源脚本语言PHP(外文名称:Hypertext Preprocessor,中文名称:“Hypertext Preprocessor”)是一种通用的开源脚本语言。文法吸收了C语言、Java和Perl的特点。入门门槛低,易学,应用广泛。它主要适用于Web开发领域。PHP的文件扩展名是php。
本文讲解php写入数据库的三种方法及性能对比。三种方式分别是:普通的insert语句一一执行、通过事务批量提交、insert into的批量数据提交方式。有兴趣的同学可以参考以下。
方法一:使用insert into 逐一插入,最终显示为:23:25:05 01:32:05,也就是2个多小时!:
$params = array(‘value'=>'50′);
set_time_limit(0);
echo date(“H:i:s”);
for($i=0;$iinsert($params);
};
echo date(“H:i:s”);
方法二:使用事务提交,批量插入数据库(每10W次提交),最后显示消耗时间为:22:56:13 23:04:00,共8分13秒:
echo date(“H:i:s”);
$connect_mysql->query(‘BEGIN');
$params = array(‘value'=>'50′);
for($i=0;$iinsert($params);
if($i0000==0){
$connect_mysql->query(‘COMMIT');
$connect_mysql->query(‘BEGIN');
}
}
$connect_mysql->query(‘COMMIT');
echo date(“H:i:s”);
方法三:使用优化的SQL语句:拼接SQL语句,使用insert into table() values(),(),(),()一次插入,如果字符串太长,
然后需要配置MYSQL,在mysql命令行运行:set global max_allowed_packet = 2*1024*1024*10; 消费时间为:11:24:06 11:25:06;插入200W条测试数据只用了1分钟!:
$sql= “insert into twenty_million (value) values”;
for($i=0;$iquery($sql);
最后,在插入大批量数据的时候,第一种方法无疑是最差的,而第二种方法在实际应用中应用更广泛,第三种方法更适合插入测试数据或者其他要求不高的时候。真快。