采集系统(采集系统我用过三台，不同的采集方案)

　　采集系统(采集系统我用过三台，不同的采集方案)

　　采集系统我用过三台，不同的采集方案价格差距很大，采集速度的好坏和是否能够抗环境高温或者低温有关系。有一款包年的网站清洗机，一台机器3000左右，适合多个网站一起采集。

　　没有哪个好用不好用之说，就像用电脑的人用哪个品牌的电脑一样，不同的品牌有不同的优点，有时候还要因人而异。好比有些网站需要专业的插件，有些网站有简单的插件。没有什么优劣之分，具体要看你在哪个阶段想用什么。比如你有一批域名还没有解析到，却想有效解析，只能在redis服务器集群里进行，要数据库操作，是否必须上正则，把敏感词放到系统的java层去执行，上了正则就没有access限制了（程序或系统原因造成的恶意攻击，程序原因造成的或者其他原因）？换言之，你必须时刻关注dns和域名的规则更改，等等。

　　但是redis集群由于分布式架构，除了数据的所有权有可能分布在更多的服务器上，很难达到平滑高效的解析？我见过很多做新浪微博营销、会员营销的小网站，什么dns、ip追踪、带宽精细定位、三级结构等各种方案都用到了，价格不菲，而且效果不好。为什么呢？核心是不符合cdn之类的要求。就拿采集后的数据传输的方式来说，一般包涵了udp、tcp、或者kabbage等，不同的udp协议，数据传输过程中是不一样的，而tcp是不稳定的，所以带宽消耗巨大。

　　你要知道这是不稳定的数据，有时候数据量还很大，你要保证清洗的数据不会丢失，这是很大的成本。我想目前网站清洗机解决这个问题可能需要两三台或者3台设备，工作量巨大，成本不比一台单线宽带的交换机要小多少。我的建议是：采集系统你就考虑两个方面：一是自己安装环境有没有困难，二是对业务有没有需求。自己有困难，需要有售后支持，那就找专业的机构来做解决。