解决方案:自动采集编写器，简单，实用，易操作！能方便多平台同步和部署！

　　解决方案:自动采集编写器，简单，实用，易操作！能方便多平台同步和部署！

　　自动采集编写器，简单，实用，易操作！能方便多平台同步和部署！以前用前端界面写代码，之前都是php写的，文件写的不方便，改起来麻烦！*敏*感*词*，压力小，每天打开新窗口，一上午完成，熟悉几次就会用了！平时也没事打打游戏，还能遇到好多新的东西！。

" />

　　谢邀。web采集器现在做的很多的，简单来说无非有两个流派：1、scrapy框架流派，利用scrapy框架提供的scheduler机制，和原生urllib库搭建采集器框架，可以采集并分析数据，scheduler封装了gzip(providingbyurlschedulertoacompressedimage)api和封装了sitemesh(fromschedulertothedjangoapplication)api。

　　startup_task模块定义scheduler运行流程。2、celery流派，利用celery这个tornado(tornado.nio.namespaces)框架，它定义了scheduler，但是没有定义scheduler运行流程。

" />

　　最基本的还是scrapy框架来做。你也可以用pycaffe。等等的框架都可以做。方法也是在scrapy框架里写，然后转换为url映射，最后转换为html进行其他处理即可。

　　adaptwebscrapy

　　scrapytornado了解一下..