采集器采集(app实时发送的数据解析，采集器采集的是什么)

　　采集器采集(app实时发送的数据解析，采集器采集的是什么)

　　采集器采集的是app实时发送的数据，当播放视频时，分析这些数据，并进行解析，如果有分析错误的，就会显示一些错误的信息，以便提示用户。不能去除重复的信息。

　　在技术上采集到的数据可以把它当做重复值，

　　采集到的数据就是重复的数据

　　所有的被采集的数据都是采集器请求服务器获取的。请求服务器时大部分都是由参数，请求头，尾巴传输的。整个请求里没有重复的东西。以前用过nutch，属于自己研发的采集器，好像不支持androidandroid也有自己研发的采集器。还有阿里的一些采集器也可以支持分析redis。

　　不要想着用离线查询把广告提交给前端java脚本

　　目前市面上很多已经封装好的采集程序，可以在广告环节解析多条数据，并且可以计算出相似度。至于原理就是，同一个ip、多个域名都会收到相同的广告，就认为是重复的。可以更好地筛选出有价值的数据，然后传给程序来继续进行深入的研究和算法优化。

　　可以存到数据库里，比如用adsl虚拟接入一个城市采集，在它自动循环采集后，自动解析出重复次数；同一ip在不同程序里的重复次数，同一个域名在不同程序里的重复次数；都可以使用循环查询查出来。

　　分两种：第一，直接在程序里做adsl解析；第二，用采集代理，做广告解析，将这个数据当做重复的，这样可以最大程度减小广告量，提高广告的下载率，降低*敏*感*词*用。