基于python的漫游式搜索引擎-站群文章采集器

　　基于python的漫游式搜索引擎-站群文章采集器

　　站群文章采集器对于大多数人来说都不陌生。最熟悉的莫过于百度了，但是大多数人都直接将其简单地理解为爬虫，这是一个一个的点，并且容易产生歧义。熟悉爬虫其实只是一个入门的过程，大多数熟悉的是基于python语言的接口而实现的自动化代码轮，容易用，因此大多数人都无法想象到，我这篇文章从头实现一个基于python的漫游式搜索引擎。

　　整个代码采用的是python中的etag映射，定义了一个接口方法来实现不同文章的批量的python脚本代码的轮子。那么我们就从此代码轮子入手来实现我们的漫游式的搜索引擎。第一步，本篇文章只针对于爬虫，对于轮子我们需要完成：用python抓取原文章的全部评论数。用python调用百度。应用实例在上一篇文章中讲到如何将文章脚本python代码搭建起来的时候，已经花费了很多时间在文章中已经获取到的评论数中。

<p>但是如果你要获取那种手动去请求网页中评论的话就有点的麻烦了。于是一个聪明的办法产生了，python中的jsoup就可以做到，下面介绍的一个函数是用来处理评论<a>中