自动采集系统(自动采集系统是一个概念性的的用法。。)

　　自动采集系统(自动采集系统是一个概念性的的用法。。)

　　自动采集系统，这个是一个概念性的用法。在上学的时候教材上不是没有说过，即使这样的东西在现实中用处也不大。国内的网站蜘蛛爬行能力极强，一天爬上百万，数以千万计的页面，并不需要你的程序支持，只需要你的配置更加专业。例如，qq对普通用户来说只是一个工具，但是用户量巨大的大平台就不一样了，非常普遍的用到爬虫之上，它是产品的本身。

　　当然，一些系统本身就带有自动采集功能，例如工具类的网站，需要用户设置采集规则，需要设置正则表达式和抓取器，来达到对每一个页面的自动抓取。然而，用户也要进行账号注册，甚至某些恶意网站注册几百个账号，等级越高，自动采集规则越少，对用户越不友好。最近工作的关系，我研究过几个这类的系统，包括wps系统，也包括协程比较流行的laravel。

　　它们都有一个共同点，就是这些系统都是开源的。我的经验，这类网站的实际运作起来需要用户配置很多的东西，工具本身也非常丰富，第三方的库也非常丰富。如果你对应对不同平台不同用户做网站配置还能完全一样，那就太神奇了。至于选哪一个或者哪几个，我认为是看这几个实际运作情况的。如果不差钱，选择更专业的，最好是有100个工程师在做同样事情，那就完美了。

　　如果是在国内小公司，做这种项目，if语句稍微懂一些，if语句做网站配置，就足够了。我觉得应该是大公司能买最好。如果真要从效率方面，我觉得一个scratch软件就足够了。ide也用很多种，java，c++,.net等。只要有个顺手的ide，if语句，基本上都能秒开。其实还不算复杂。后端，你可以用go，nodejs，前端就用好一点。反正架构简单，你的entity写好，然后只需要调用接口就行。