教程:如何使用文章采集工具？使用最简单的api无编程scrapy框架

　　教程:如何使用文章采集工具？使用最简单的api无编程scrapy框架

　　文章采集功能我们已经在前面测试过了，如果你是一位python的开发者，最近也许会抽出时间去开发一款web应用采集工具。需要注意的是，这里的采集指的是网站内容爬取，如果是要采集网站外的数据则不在此次讨论之内。今天我们介绍的另一个采集工具是使用最简单的api无编程scrapy框架，简洁易用，并且速度飞快。

　　该框架可以让你在不用编程的情况下，爬取网站内容，并且爬取结果我们可以拿到网站的第三方数据提供者进行分析。thumbindex，一款非常简单易用的爬虫采集工具，你可以将它用于写个简单爬虫，这样一来我们就可以使用动态语言去实现我们想要的爬虫场景。对于编程方面，也可以直接采用python，这样它的开发成本和学习难度都会大大降低。

　　快速探索thumbindex是使用python框架简化python爬虫的底层和底层网络库，可以直接从网页下载数据，数据内容生成的每个字段也不用再写，使用scrapy框架写起来非常方便，而且可以直接生成html代码供我们进行对比和分析。使用方法和编程方法就不赘述了，详情请查看thumbindexgithub地址。

　　先总体概述一下可用的功能：发布爬虫并附带价值发布定期公开的爬虫连接第三方参数化数据提供商发布数据验证身份发布对应cookie文件并保存爬虫是先获取到request，然后将数据发布到第三方提供的html文件中。客户端的代码是放在一个python文件中，并且还开发了多种主流浏览器兼容模式，我们可以直接使用。

　　下面简单介绍一下如何使用。使用thumbindex的两个关键点如下：在启动爬虫之前，使用incomplete_items模块构建html解析器，然后使用selenium模块进行抓取，最后用scrapy框架对数据进行验证。下面举例一个爬取知乎，豆瓣和知乎的爬虫实例。其他爬虫类似，重要的是对数据进行格式化，以便我们验证身份。

　　启动爬虫之前需要准备以下包：webdriver-c++;driver=webdriver.chrome();jsonpath='/';thumbipyinit={'thumbip':init.json(driver),'thumbip_path':init.show_items('thumb.index'),'thumbip_apppath':'','scrapy_request':'','scrapy_response':'','if_throw':'python','jsondata':{'thumbip_apppath':'','thumbip_path':'','json_request':{'url':'','all_all':{'meta':{'user':'','provider':'advertising','referer':'','cookie':{'csrf_code':0},'data':{'。