自动采集网站内容？会吗？如何解决缓存问题？

　　自动采集网站内容？会吗？如何解决缓存问题？

　　自动采集网站内容？自动采集网站？会吗？其实大部分网站，用自动采集器都可以自动采集数据，只不过用python做爬虫要比较难。同时，对于网站开发者而言，不是每个网站都有python接口的，除非是跨国公司，业务涉及海量数据的话，才有可能用python爬虫。如何是采集awesomelibrary的文档。去githubtornado，安装下，importgui，downloadlibrary,很快你就能看到。

　　如果需要对网站进行编程的话，只需要tornado这个库。tornado简介tornado是一个twitter开发的用于web应用的轻量级协程web服务器，它是用c++和java编写的。tornado是跨平台的，而且是linux系统。前后端网站都可以用tornado，python,java,c++都可以。

　　开发好用网站后，需要配置web服务器，apache,nginx等。但是，tornado还有个bug，客户端无法跟服务器（django中这样做），一直匹配。不要惊慌，这不是tornado本身出的问题，是因为tornado的版本非常落后，基本只支持python2.x。tornado的*敏*感*词*下图是用tornado做一个网站，要用到的功能：采集数据采集网站列表相关内容列表分类列表相关提取标题列表相关内容基本tornado作为一个web服务器，这些功能都是没问题的。

　　tornado很小，也就200k，对于无法进行调优的小网站来说，还是可以用的。如果想要tornado做服务器，github上有一个分享资源，用于作为服务器。-v1.2.1python-tornado-web。注意此分享资源是针对无限网页，如果是php等非常老的网站，而且没有python接口，是不适合的。有人参考我其他文章：青丘：爬虫语言requests如何解决缓存问题？。