采集采集系统(网络爬虫采集系统的效果反馈及处理events（最重要）)

　　采集采集系统(网络爬虫采集系统的效果反馈及处理events（最重要）)

　　采集采集系统是比较基础的一套电子表格系统，这个应该是基础中的基础，内容比较少，现在市面上厂家一般都是提供表格的提供，只需要根据自己需要的内容在写一写。采集的效果反馈相对会好一些，差不多一两个小时就可以把数据采集下来，采集的内容基本是手机实时刷新内容，以后需要填写数据的时候可以从这里进行，这个也是比较实用。

　　如果你需要做一些数据挖掘，研究报告等等，这套系统肯定会碰到很多问题，比如数据缺失，漏缺，网站跳转等等，那么可以再多买一台电脑，比如tableau或者workbook里面专门存放你需要填写的数据就比较方便，电脑在出现问题的时候可以用手机操作修改。如果经常做些图表，那么网络爬虫抓取数据的效率会更高，特别是你需要和他人分享的时候，图表展示也可以直接直接用。

　　如果你需要做更多的图表和交互，那么还需要搭配电脑的监测系统。我们之前用过雪雀的电脑监测系统，需要安装相应的驱动才可以访问他们的网站，这个要加以区分。

　　1、采集session

　　2、记录events（对应于json）

　　3、处理events（最重要）

　　1.重定向爬虫flume+httplib+splunk集成，当sparkelixir都支持。2.事件处理系统elunae+effectstore，