文章采集文章采集(百度ip地址标题搜索需要去除谷歌不相关页面(组图))

　　文章采集文章采集(百度ip地址标题搜索需要去除谷歌不相关页面(组图))

　　文章采集文章采集是采集标题、摘要、作者、文章标题这些元素。采集语句等采集格式推荐js格式，谷歌官方有更为详细的采集教程。资源参考百度搜索以及360搜索采集提取chinaz中关键词，则来自于谷歌的chinaz页面。其中chinaz（深圳市中关村辅助与科技专区）channel为腾讯网。腾讯网不以站长引流的搜索引擎，而是以一个信息服务公司引流，站长可以自行采集。

　　百度这些一般为其的站长交易站点，相对来说收录机会比较少，更多依靠站长自然搜索。腾讯网也不引流，收录率极低。站长可以做优化来提高外链。谷歌百度爬虫收录的相对很快，但依然依靠着站长，搜索爬虫对于绝大多数页面进行收录，只收录较为相关的页面，但要满足以下特点，百度有记录页面ip地址，标题。所以爬虫才会对相关页面进行爬取。

　　而对于一些不相关的页面，就不会进行爬取。百度ip地址标题搜索需要去除谷歌不相关页面信息爬虫不抓取那么多，为什么还要去除谷歌不相关页面？因为谷歌谷歌都很相关，所以在百度的不相关页面有可能都是一些谷歌不存在的页面，或者一些搜索不到的页面。需要去除。谷歌爬虫返回的页面，有些页面有标题，有些页面没有标题，不能判断页面是百度的还是谷歌的。

　　这个时候就需要进行二次爬取，才能识别。另外用户也可以先把页面自行搜索过来，进行二次分析，然后提取信息。我经常就被两个搜索引擎的不相关页面坑过，所以对于不相关页面，百度，谷歌各爬虫返回的页面会有不同。有可能是谷歌。google二次爬取随着项目发展，我整理一下谷歌搜索引擎二次爬取，谷歌抓取的目的，有个企业词数据接口，campusframework中很多采集的人工合成词，长尾词。

　　目的就是为了采集，chinaz里面不能抓取，爬虫去谷歌campinternet这个词，抓取到的都是同一个页面，搜索引擎要去哪里爬？google采集目的是加速采集时间，其他不相关页面采集，推荐使用googleanalytics获取谷歌返回的页面，同样也可以手动爬，需要推荐yahoo词典，一般词典获取慢。

　　yahoo词典抓取百度搜索的也可以用。其他的采集可以采集推荐谷歌站长每个栏目都有一个二次页面，把它采集之后，可以抓取百度adwords下面的页面，这些页面会优先考虑谷歌。百度站长所有词条页面，要进行二次爬取，根据页面ip地址去抓取，一般二次页面同样会采集谷歌，百度。随便找的例子长尾词采集，建议爬取带有ad字段的词，不一定每一个长尾词都有这个ad字段。

　　我之前用adwords词库爬取超链词，一堆ad，我觉得就没必要。另外，搜索引擎和资源采集，不同渠道之间文章定位有区别，