完整的采集神器包括：爬虫采集、模糊处理、数据存储

　　完整的采集神器包括：爬虫采集、模糊处理、数据存储

　　完整的采集神器包括：爬虫采集，ui，清洗，再采集，模糊处理，数据存储等主要需求：1.爬虫采集基本上所有网站都可以爬取，从it技术角度看爬虫没有什么需要特别设计的，爬虫方法就是让爬虫程序变得有效率，能够对目标网站实现异步请求，如果目标网站存在数据，就将这些数据写入爬虫中。（对应于网站底层是http，网站爬虫涉及到经济利益就会执行更不同）2.ui设计顶级网站，有很多自己的ui设计，这块相当复杂，大型网站会有专门的设计师负责，但是小型网站很少会有自己的ui设计师。

　　顶级网站ui设计，简单地讲，就是ui图设计花花绿绿的，一看就觉得高端大气上档次，有个性，几个全屏拉出来也是特牛逼的。对于目标网站涉及到广告，点击率高的ui设计，就是大问题了。现在移动互联网出现智能手机直接内置网页浏览器浏览网页，也是智能手机的标志。只要可以访问这个网站，就基本上不用在进行手机ui设计。

　　3.清洗部分对于一些规则不清晰，异常数据，还有常见链接的ui设计，还有网站的爬虫其他设计都是基本的。ui设计不同于网站设计，网站设计是很单一的，就是网站本身的交互效果，而ui设计就不一样了，涉及到了各种图标，颜色，样式，甚至很多网站甚至外部链接都能发生变化。设计界有个说法是两个创意总监不能等量齐观。所以目前随着用户对于设计越来越包容，优秀的ui设计师也在大量扩展。

　　4.模糊处理爬虫爬取下来的东西如果有待抓取的网站，我们需要让网站优化，对于标题，关键词设置了各种聚合方式如alert/info标题描述的提醒用户首页多个名称，url的alert等待抓取，canvas等待抓取非常复杂的页面页面抓取，是最难处理的部分，没有太多数据，或者缺少经验，爬虫就抓取不下来。因为收集的数据很杂，抓取不下来也正常。

　　5.数据存储把抓取到的数据存储到本地，或者云服务器上都是有必要的。6.多设备上的采集既然抓取到了网站里面，那么就需要抓取的网站支持支持多设备抓取，各种设备的一次处理，就可以抓取到目标网站多个不同设备的数据。最常见的就是在支持多设备模拟登录的网站，接入用户，一个账号用的设备越多，就可以抓取到越多的数据。

　　有的时候，多设备也是一个比较难解决的问题。7.带宽和idc由于视频网站需要从视频源上传，一般也比较依赖视频网站的带宽。所以在视频网站上挂很多个adsl节点，有的还有ptt节点，你就可以抓取很多视频节点的数据。8.人工干预人工处理抓取本身是比较难的，特别是页面抓取。有效的人工干预方式有几个：在抓取数据的时候进行伪。