基于scrapy/lxml的爬虫库blogcheck实现全文爬取、热门搜索词搜索等

　　基于scrapy/lxml的爬虫库blogcheck实现全文爬取、热门搜索词搜索等

　　文章采集站点目前已经有storm服务接入的。覆盖的是本地所有的可用互联网服务。他们的爬虫可以实现全文爬取、热门搜索词搜索等。另外他们目前有微信公众号数据接入，可用于搜索词推荐。相信我的数据包会对很多资讯类新闻站点有帮助。如果需要爬取一些媒体报道的内容，

　　由于目前python的爬虫框架一般都比较稳定，虽然也有一些新的爬虫框架，但一般都不太稳定，爬虫速度也没那么快。关于爬虫目前我们在写一个基于scrapy/lxml的爬虫库blogcheck，以redis+twitter为依托开发，基于redis实现了权限控制，以及比较方便的索引功能，提供简单易用的restfulapi。其中还有一个scrapy3.0的1.x版本，据说提速效果不错，欢迎查看。

　　python的爬虫工具我推荐下面几个：大蜘蛛：可以定制爬虫的文章内容。xxiaooxiaoyao：web端爬虫。ppyeers：一个python爬虫框架。flask：和flask一起搞爬虫比较方便。

　　可以使用一些框架，例如百度的pyspider，一些爬虫工具，如拉勾网，都支持百度云存储，直接使用redis就可以了。

　　python爬虫目前有一个比较好的主题，比如使用爬虫dz去爬某些信息，然后自己处理下。

　　谢邀!以下是简介！以下是干货！github地址！-python我是非常好的爬虫达人，这篇文章简单的介绍了一下python的爬虫最常用的框架和库——requests库及代码，希望对你有所帮助。