上百度官网采集方法同国内其他中文搜索引擎一样

　　上百度官网采集方法同国内其他中文搜索引擎一样

　　文章网站自动采集发布的，上百度官网，google，yahoo，知乎。看了一些觉得有的不干净，需要自己下些工具，针对性采集。第一步，上百度搜索“外国新闻网站”，按照能找到的合适的先全部采集下来。目前中国没有网站用户可以在一个网站投票、投票后给出回应。所以就需要多采集几个网站进行投票的评论，所以采集方法同国内其他主流中文搜索引擎一样。

　　第二步，选取需要采集的国家进行采集，总计采集数量在50以内。第三步，将采集出来的新闻链接，用迅雷下载转换为pdf格式，这一步可以选择直接下载链接，也可以复制链接转换成文本格式。效果如下图所示：本文整理自[1]key.rige：[2]-[1]-rige[2]-rige。

　　上百度

　　谷歌-key.rige

　　-rige/

　　chrome内置浏览器里面推荐

　　python抓包，

　　/isim.py有兴趣可以看看，

　　/

　　你一定要最原始最后级的site:

　　百度关键词，