完整的采集神器-几何图形-汇率工具包使用说明

　　完整的采集神器-几何图形-汇率工具包使用说明

　　完整的采集神器-几何图形-汇率工具包使用说明或者数据包资源，还可以选择谷歌nlp的数据直接进行进行挖掘。比如ploymate包里的数据：更多关于数据采集的交流请参考ide的博客：，可以一起交流技术。

　　国内推荐一个数据鲸的一个爬虫工具，爬了很多数据。

　　最终目的是要调用第三方采集接口然后网页提取数据吧？那就不必要定制化。首先针对数据采集到一个文件或者数据文件夹后，完全可以采用网上的方法，比如scrapy,zipxy之类的。注意这些目前都是基于windows平台的。如果采用python去做，要注意对图片和文本的处理的方法，不能把那些scrapy,zipxy这些抓取软件弄一起来。其实针对抓取到的数据做出有针对性的可执行文件，再封装成对应的采集工具不错。

　　可以用matplotlib画出交互的图形

　　尝试一下pymeta-afine-grainedviewforpython,同时保留了正则的功能。

　　学些爬虫本质上是要有写业务代码的经验，网站技术应该也有指定的框架来支持一些你感兴趣的查询。于是你可以把整个爬虫想象成一个python的框架，里面有正则，re，bs4，关系数据库，异步加载等等。再学习爬虫核心之类的东西就简单了。

　　整理下自己的一点思路。比如百度提供的网页采集服务。我们想要爬取一个地址对应一个比价网站，在我们得到这样的地址集后，可以在百度的搜索页面爬取。但是作为爬虫并不能就这样看着数据走过来。我们要把这个数据经过全过程的保存。比如需要保存起来。你可以提取关键字排名前50的网站。那么下面我们给这些网站a爬一个比价地址，b爬一个比价地址。

　　有时间把这些地址集加起来也可以做成一个数据集。这时候我们就要解决两个问题:数据怎么爬取，怎么保存。1.数据怎么爬取-提供给爬虫的数据可以从百度搜索页面直接拿到。或者我们使用有明确输入地址的接口。比如搜索商品关键字后，会收到数据包。但我们这里要保存网站数据包。我们可以想办法保存一个别名变量。比如标准问卷类的地址。

　　我们把b的网址集输入之后，给百度搜索页面发送数据包，再给shell。去保存b地址集。让shell执行接受这个数据包并反爬取。就可以成功抓取了。2.保存b的地址集-这里涉及三种不同的技术:scrapy，python对象的cookie，flask。1.scrapy+cookie:我们使用一个scrapy的爬虫来保存这个地址集，scrapy的数据来自web服务器。

　　2.scrapy+selenium:我们可以从一个xml文件中得到地址集。我们需要对selenium的form进行控制。3.flask+flask:我们保存数据集是json，这样我们可以自。