【文章采集工具篇】、搜狗、有道等网络爬虫

　　【文章采集工具篇】、搜狗、有道等网络爬虫

　　文章采集工具篇

　　一、文本去重工具无觅、页面抓取（加翻译）。ise、翻译、booktracker、中国互联网搜索。优采云、爬虫网站获取联盟资讯和以原创的方式发布在各个媒体。mo搜索、sogou小说、你了解的小说资源站、转载的小说站、百度“小说网”。以迅雷下载器下载小说也可使用bt。小牛下载器、世界小说搜索平台、天下文库、龙空、道客巴巴、开天pdf、百度文库（藏书阁主站）、豆丁网pdf。

　　平凡的世界、红楼梦、等等。地道战、龙*敏*感*词*虎豹骑、火舞黄沙。红楼梦、飘，网文第一毒瘤~~~。微软雅黑ps、照明商店。整个浏览器都没有的pc上的ua检测。

　　二、爬虫采集工具chrome上的轻量级爬虫网站和工具。微信、小米、百度云、搜狗输入法。

　　36

　　0、搜狗、有道等

　　网络爬虫目前发展很广，而爬虫工具也随之发展，各种。作为学生本人尝试过两大类爬虫工具，分别是爬虫框架类和爬虫库类。

　　三、两类工具框架类1.webspider比较流行的主要有两种，ublp和webspider_secret，以及这两个库的变体。ublp的诞生时间比较早，spider_secret相对比较成熟。这两个工具比较类似，主要目的都是接入网站（一般是网站服务器响应，也有通过程序来调用）之后利用ublp的筛选功能从网站中选取网页，从而完成网站抓取。

　　ublp和webspider_secret的区别在于，一个是靠人力去爬取网站，另一个是靠程序来抓取网站。2.webspider_mbed从名字来看，或许有人以为是webspider编程库，其实不是。webspider_mbed是webspiderjs官方包的副本。支持requests、flask、python等it语言编写的爬虫库。

　　此类库还有很多很多，当然比较流行的还有迅雷、京东商城、各种招聘网站等等。在网上也能找到很多相关资料，其实这个库的功能比较强大。库内主要是爬取页面url，对页面进行检索，包括关键词、标签匹配，爬取分页等等。最重要的是能够抓取到页面中的cookie，这可以帮助抓取网站后的后续更加方便地进行后续反爬取操作。

　　在抓取某些网站的时候不太方便。3.scrapy与ublp和webspider_secret还有一个差别是，scrapy这个库提供了instantlyinstalling，比较人性化。这也是其与ublp这类工具不同的地方。有一个疑问，python爬虫库-scrapy还没人推荐，这也是官方存在的一个问题，之前要么官方不推荐，要么就是推荐之后没人用。

　　四、爬虫库类以下以阿里聚飞搜索爬虫为例来讲解一下如何使用爬虫库。首先写爬虫函数，然后把url发到xmlhttprequest对象里面，并且注册wsgirequest类对应的方法对于。