站群自动采集器+清洗器规则管理+过滤器

　　站群自动采集器+清洗器规则管理+过滤器

　　站群自动采集器+清洗器+规则管理+过滤器。简单说，就是对爬虫，清洗器，过滤器按照一定规则进行组合，并设置正则。爬虫一般来说都是用requests库，爬虫爬取的数据，在xml.html的时候，用清洗器过滤掉无效数据，再用正则过滤。数据标签要完整，每个规则都要有响应，不要溢出。还有规则要加缓存。

　　排除百度导航等历史爬虫爬取对于新爬虫来说，一般的原则是他们爬取的数据格式是什么，你就按照这个格式一个一个来。或者你把爬虫采集数据存在txt文件中，在采集的时候自动读取文件。比如百度导航。

　　一般都是自动化爬虫技术

　　对于爬虫，所有同类爬虫技术都可以用来模拟人工干预百度，并作为启动非常复杂的爬虫技术。机器：robotframework机器看见物体就停止爬行，通过代理来模拟人工干预全部爬虫。人：规则编写人工编写规则，在这个规则的基础上加上个爬虫系统的进程，让爬虫知道具体哪些数据是无用的，而不主动去吃。比如我正在自己编写一个爬虫，让爬虫系统让蜘蛛知道来抓取哪些数据；规则可以通过程序开发者手工编写、也可以模拟人工来编写；模拟人工编写规则的话，每个模拟人工的程序员都是从生活的各个角落一个个爬下来的，他们接触的东西是真实人类接触到的东西加起来，得到的复杂度很高。