解决方案:网页采集器的自动识别算法，也就是自动的爬虫采集识别

　　解决方案:网页采集器的自动识别算法，也就是自动的爬虫采集识别

　　网页采集器的自动识别算法，也就是自动的爬虫采集识别出的内容是要保留在云服务器上的，因此，

" />

　　你这么说，意思是所有无关产业全部都要关掉咯？任何事物存在就有利弊，自动识别很高效，但同时会存在没有用的内容。比如小站只有2页，爬虫能否爬取全部？如果不能，难道一定要智能自动识别么？自动识别不等于人肉搜索，识别一些没有必要识别的东西，不对外售卖，难道要藏起来么？为了一时利益的事物，不值得去坚持。

　　作为一个在自动数据采集领域摸爬滚打几年的人和你说说我的感想吧。首先，楼主所说的人肉爬虫，即ga，一个产品中的核心是数据采集，数据采集是个很细小的工作，精确的设置采集规则才能正确的过滤某些网站的内容，但并不是每个人都需要过滤这些网站的内容。比如，正在大热的小*敏*感*词*自动采集软件——猫爱老鼠已经足够精确了，所以我们认为他们可以过滤大部分网站的内容。

" />

　　但不能排除有些网站他们采集规则设置的不合理，需要爬虫再过滤一次。爬虫过滤内容的模式要根据所爬取网站的数据特征，综合考虑之后得出合理的爬取规则，以此来过滤掉不是内容的网站。说了这么多，正所谓术业有专攻，每个人的专长领域不同，爬虫也有专攻的领域，爬虫采集这个细分领域也很大，爬虫应该可以爬到各个网站的内容。

　　现在有一些网站的内容被大量爬取，有些网站的内容被非法内容抓取，这些可以找爬虫帮忙分析原因，帮助网站改进爬取机制。在爬虫领域，多掌握点东西未尝不好，关键看如何权衡。爬虫可以过滤很多网站的内容，也会被爬取非法内容，这些可以帮助你积累经验。专攻于爬虫的人在于编写爬虫的语言和爬虫的架构设计上。打个比方，你编写爬虫语言，架构设计语言难，那你就多学习一些语言；你编写爬虫架构设计语言难，你可以先使用别人的爬虫架构，再按照自己的经验重写爬虫架构。

　　而自动识别网站可以通过大量的分析手段来识别某些网站，发现其价值并挖掘。另外，多了解爬虫的原理，知道怎么判断爬虫是否完全正确。