php抓取网页数据插入数据库(这里有新鲜出炉的PHP面向对象编程,程序狗速度看过来!)

优采云 发布时间: 2022-04-07 20:07

  php抓取网页数据插入数据库(这里有新鲜出炉的PHP面向对象编程,程序狗速度看过来!)

  这里是新鲜出炉的PHP面向对象编程,程序狗的速度来了!

  PHP开源脚本语言PHP(外文名称:Hypertext Preprocessor,中文名称:“Hypertext Preprocessor”)是一种通用的开源脚本语言。文法吸收了C语言、Java和Perl的特点。入门门槛低,易学,应用广泛。它主要适用于Web开发领域。PHP的文件扩展名是php。

  本文讲解php写入数据库的三种方法及性能对比。三种方式分别是:普通的insert语句一一执行、通过事务批量提交、insert into的批量数据提交方式。有兴趣的同学可以参考以下。

  方法一:使用insert into 逐一插入,最终显示为:23:25:05 01:32:05,也就是2个多小时!:

  

$params = array(‘value'=>'50′);

set_time_limit(0);

echo date(“H:i:s”);

for($i=0;$iinsert($params);

};

echo date(“H:i:s”);

  方法二:使用事务提交,批量插入数据库(每10W次提交),最后显示消耗时间为:22:56:13 23:04:00,共8分13秒:

  

echo date(“H:i:s”);

$connect_mysql->query(‘BEGIN');

$params = array(‘value'=>'50′);

for($i=0;$iinsert($params);

if($i0000==0){

$connect_mysql->query(‘COMMIT');

$connect_mysql->query(‘BEGIN');

}

}

$connect_mysql->query(‘COMMIT');

echo date(“H:i:s”);

  方法三:使用优化的SQL语句:拼接SQL语句,使用insert into table() values(),(),(),()一次插入,如果字符串太长,

  然后需要配置MYSQL,在mysql命令行运行:set global max_allowed_pa​​cket = 2*1024*1024*10; 消费时间为:11:24:06 11:25:06;插入200W条测试数据只用了1分钟!:

  

$sql= “insert into twenty_million (value) values”;

for($i=0;$iquery($sql);

  最后,在插入大批量数据的时候,第一种方法无疑是最差的,而第二种方法在实际应用中应用更广泛,第三种方法更适合插入测试数据或者其他要求不高的时候。真快。

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线