采集器采集源是什么：,amazonec2amazonec2

　　采集器采集源是什么：,amazonec2amazonec2

　　采集器采集源是什么：

　　1、采集方法是通过正则表达式进行搜索，把js的一些元素，服务器留的一些存档，数据库的一些表名字段名等等都采集出来，

　　2、采集器的性能是和采集的数量有关，大型采集器性能并不是很好，比如10万浏览量的站点可能会占用5000台机器，对于普通站长已经足够了。

　　3、采集器一般会针对特定类型的页面进行归档，比如一些超链接，bt站点等等。

　　采集器采集源一般是一些常见的网站，如：像wordpress,hexo,amazonec2这类大型站点，分类大而全。采集端口最好是8080，也可以使用其他访问器访问。采集性能不要求太高，分词完毕后查询单词对应关系。最重要是实效性，通常如果采集100w+的数据，前后总会有几万甚至十几万的异常。正确率可以达到99%以上就不错了。

　　有些网站比如一些门户网站也是经常要求有js数据采集，或者是动态加载页面，这样网站安全性有问题，采集器基本都要是秒抓，这个属于实时性要求比较高的，还有一点是如果数据量很大的话也要分开合并的域名保存，防止泄漏一些重要数据。基本上采集这样是没什么风险的，至于哪些可以采集，有些可以采集到，哪些不可以采集都是根据网站程序有不同的技术要求，当然了你要是有特殊渠道，也是可以的。