文章定时自动采集(recnode高性能web爬虫实战指南-郑文锋-博客园)

　　文章定时自动采集(recnode高性能web爬虫实战指南-郑文锋-博客园)

　　文章定时自动采集，如果不按要求，采集数据超时，就会失败，有的还收费。强烈建议你自己写脚本。

　　我现在用的是一款msworkflow，交互式编程，想哪里设置哪里，可以自己编程控制采集，很方便。就是需要联网使用。你可以看看我的github，有不少使用他们编程的例子。

　　对国内网站不熟悉。我在国外网站爬数据已经有数年了，可以给你个中国最全大众网站爬虫资源索引，按照我的理解应该具有参考价值：javaweb高性能web爬虫实战指南-郑文锋-博客园这是javaweb高性能web爬虫实战指南出版的第一部分，用来爬取我公司的一些大众网站的数据。后续我再慢慢加上如搜狐视频爬虫，youku爬虫，facebook爬虫等。

　　ucbrowser

　　还是推荐用国外软件scrapy，自己写爬虫，总结成文章或者教程啥的，

　　国内大部分网站对爬虫的限制和要求都不够，

　　uc浏览器的开发者工具其实已经封装的非常好了，无论是写采集程序还是进行数据分析，都非常方便，效率也很高。所以还是要熟悉它才行，可以看看相关网站的基本介绍和使用方法。

　　recnode.io,不错，模块也比较齐全recnode.io简单易用，详细的请看我的博客。

　　目前使用recnode.io爬数据挺不错的，省心省力。