文章采集软件(文章采集软件专业精准，大数据可能就比较麻烦了)

　　文章采集软件(文章采集软件专业精准，大数据可能就比较麻烦了)

　　文章采集软件专业精准，大数据可能就比较麻烦了。其实只要有源代码你不会写我觉得就不是事了。我那点网页代码就能搞定大部分采集软件的需求了，唯一麻烦的就是抓取规则，如果你懂，那就好办。如果是非专业，那就先选个爬虫的软件，先养成一个爬虫的习惯，再慢慢换其他的就好了。现在网站，p2p，手机搜索什么的也越来越多。

　　-gazebo-learning.ib.um/downloads/下载地址，付费的20刀+rmb。可以下载file&bufferingversion。也可以去superpipe，opensourcescrapingresources上下载。还可以关注微信公众号：ahr0cdovl3dlaxhpbi5xcs5jb20vci9nctzy23pcunzrwtx2lyuwzaoxgxeq==(二维码自动识别)。

　　python封装的神器：fiddler-plugin-library

　　写爬虫网站

　　dom+js抓取。百度谷歌谷歌搜这个，你在搜索框找不到的都能找到。一般刚起步的话大家用爬虫，想快点出结果。效率肯定比自己写快的多，当然dom+js抓取简单一点，关键是很多网站也有爬虫，具体看你的网站会不会爬虫。

　　如果是一个完整的爬虫的话，也不是没有可能，也不要觉得找不到合适的方法。可以像楼上说的，在superpipe里面封装一个爬虫，然后就能对应大多数的主流网站。如果想要得到性能极高，支持常见的http协议的话，目前已知最快的应该是golang的vue.js框架了，不过这个框架还不是很成熟，处理起来还是比较有压力的。

　　个人觉得性能最好的可能是redis，基本能满足绝大多数网站，我测试了很多新闻的抓取，基本上做完之后，速度至少领先30%左右，而且redis是newsql的存储，在国内应该还算是比较方便的，很多时候我都在追一个新闻，而网站抓取起来又非常麻烦，所以会用到redis。