关键词采集(1.采集百度搜寻结果显示2.采集后的图片不显示 )

　　关键词采集(1.采集百度搜寻结果显示2.采集后的图片不显示

)

　　1.关键词搜索结果采集百度

　　根据关键字采集百度的搜索结果，可以使用curl来实现，代码如下：

　　输出后发现有些图片无法显示

　　2.采集后图片不显示原因分析

　　直接在百度搜索，页面可以显示图片。使用firebug查看图片路径，发现采集的图片域名与百度搜索的图片域名不同。

　　采集返回的图片域名

　　用于普通搜索的图像域

　　查看采集和正常搜索html，发现有不同的域转换js

　　采集

　　var list = {

"graph.baidu.com": "http://graph.baidu.com",

"t1.baidu.com":"http://t1.baidu.com",

"t2.baidu.com":"http://t2.baidu.com",

"t3.baidu.com":"http://t3.baidu.com",

"t10.baidu.com":"http://t10.baidu.com",

"t11.baidu.com":"http://t11.baidu.com",

"t12.baidu.com":"http://t12.baidu.com",

"i7.baidu.com":"http://i7.baidu.com",

"i8.baidu.com":"http://i8.baidu.com",

"i9.baidu.com":"http://i9.baidu.com",

};

　　普通搜索

　　var list = {

"graph.baidu.com": "https://sp0.baidu.com/-aYHfD0a2gU2pMbgoY3K",

"t1.baidu.com":"https://ss0.baidu.com/6ON1bjeh1BF3odCf",

"t2.baidu.com":"https://ss1.baidu.com/6OZ1bjeh1BF3odCf",

"t3.baidu.com":"https://ss2.baidu.com/6OV1bjeh1BF3odCf",

"t10.baidu.com":"https://ss0.baidu.com/6ONWsjip0QIZ8tyhnq",

"t11.baidu.com":"https://ss1.baidu.com/6ONXsjip0QIZ8tyhnq",

"t12.baidu.com":"https://ss2.baidu.com/6ONYsjip0QIZ8tyhnq",

"i7.baidu.com":"https://ss0.baidu.com/73F1bjeh1BF3odCf",

"i8.baidu.com":"https://ss0.baidu.com/73x1bjeh1BF3odCf",

"i9.baidu.com":"https://ss0.baidu.com/73t1bjeh1BF3odCf",

};

　　所以根据源地址、IP、header等参数可以得出如果是采集百度会返回不同的js。

　　3.采集后图片不显示的解决方法

　　采集的html可以根据定义的域名进行批量转换。

　　添加域名转换后，所有图片均可正常显示。