文章自动采集和发布(网站自动采集和发布：设置自动化过程(组图))

　　文章自动采集和发布(网站自动采集和发布：设置自动化过程(组图))

　　文章自动采集和发布：设置自动采集过程登录网站看看就知道了啦你想采集哪些数据实际上还是自己积累，只是你要求不高就看看哪些数据能满足你，这边安利你一个网站【方便爬取】，想要爬取哪些数据可以自己积累，

　　善用爬虫首先要善用python语言，可以先试试python的itchat库，这个库是一个基于web的免费的小项目，发挥你的想象力，去实现一些你需要的功能吧。爬虫的需求理解以后还需要抽象理解整个爬虫体系，分成步骤去理解。你需要用一个轻量级，安全的方式去实现你的需求。架构我建议你搞网站架构+数据库架构，首先搭建后端/前端c++开发环境+socket库，这样起码能控制前端来实现多页面动态加载的需求。

　　这个方案可以使得前端网站带来的视觉效果能够在缓存或者迭代周期中不容易丢失，如果可以适当用gpu加速加快迭代周期，高并发的性能更能满足业务的需求。不过看你目前的需求，前端的爬虫需求应该也不会很大，以此为首。数据库因为你只会静态html解析，这样的方案可能并不合适。所以建议你后端/前端库暂时没有，最好要有数据库去承载你的数据获取需求。

　　综上，数据层分类先弄两步，如果只是想要获取静态数据，建议一步解决爬虫业务方面的需求，再用适当的shell爬虫。shell不是爬虫最终的下场，即使直接写成iis爬虫静态文件也无法走shell模式，可以看一下luapy爬虫框架，包括了html解析和post请求，数据库中定义的变量也可以直接通过iis里的__request_uri这个uri传递给动态加载出来的静态文件，动态加载静态文件后再传回到post请求中。

　　这种静态数据模式同样可以用来完成数据库操作，用来做中间数据转换，缓存什么的都是可以的。另外要看你的公司网站，高并发爬虫，几百万级别的抓取到底是什么样的需求，前端还是后端，如果是后端直接静态文件抓取完全可以忽略前端，想用爬虫完成业务方面的需求也可以直接做。如果是前端引入爬虫需求，可以看看针对动态抓取数据的方案，类似redisd，或者其他的可以方便把前端页面做成静态页面进行抓取的解决方案。

　　另外爬虫代码如果没有设计好尽量读别人的代码，你会学到很多东西，不要把软件开发的基础概念弄丢了，这里针对你的个人主页有一篇文章爬虫的详细介绍，请参考下。快速入门python爬虫技术。