php抓取网页数据插入数据库(一个快速采集网站数据的方法,太晚)

优采云 发布时间: 2021-12-23 07:16

  php抓取网页数据插入数据库(一个快速采集网站数据的方法,太晚)

  今天教大家一个快速获取采集网站数据的方法。因为来不及了,直接上例子吧。这里以采集易车网的产品数据为例。

  思路:利用js获取网页数据并生成sql命令,执行sql命令将采集的数据插入到数据库中。

  1.使用谷歌浏览器或火狐打开网站:(品牌大全)、(模型大全)

  2.按F12进入调试模式,选择console,输入如下代码

  // JavaScript Document

(function() {

var hm = document.createElement("script");

hm.src = "http://apps.bdimg.com/libs/jquery/2.1.4/jquery.min.js";

var s = document.getElementsByTagName("script")[0];

s.parentNode.insertBefore(hm, s);

})();

setTimeout(function(){

$.ajaxSettings.async = false;

//var data = [];

var sql = '';

$(".list_pic li").each(function(index, element) {

var brand ={url: $(this).find("a:eq(1)").attr('href'),name:$(this).find("a:eq(1)").text(),cars:[]};

sql += "INSERT INTO `dp_jgcrm_brand`(pid,title) VALUES('0', '"+$(this).find("a:eq(1)").text()+"');\r\n\

set @pid = LAST_INSERT_ID();\r\n";

$.get(brand.url,function(html){

$(html).find(".cartype-section .p-list .name a").each(function(index, element) {

sql += "INSERT INTO `dp_jgcrm_brand`(pid,title) VALUES(@pid, '"+$(this).text()+"');\r\n";

brand.cars.push($(this).text());

});

});

//data.push(brand);

});

//console.log(data);

console.log(sql)

},2000)

  

  3.复制sql命令,剩下的应该都知道了

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线