文章实时采集之js与css采集，包括可视化采集与资讯爬虫采集

　　文章实时采集之js与css采集，包括可视化采集与资讯爬虫采集

　　文章实时采集之js与css采集，包括可视化采集与资讯爬虫采集，有相关项目可以私信我。

　　目前主要针对web在做，发展形势不错，市场大，需求多，在做得技术也很多。互联网获取信息首先网上很多信息是空的，需要进行发现，然后推送给用户看，需要定向和采集。

　　谈一下我个人了解到的目前主要有：

　　1）javascript

　　2）文本处理基本上你懂点javascript就行，这个很多需求是给不懂的团队使用，当然javascript处理网页中文本信息还是非常方便，

　　3）图像处理的很多公司都做出有有像素级别的提取

　　4）定制化这一块在各个项目中都可以看到，

　　5）性能这块内存机制不同速度上会有相应的影响，

　　6）采集质量（bloomfilter-webeventgrabber）大家在使用某app的某个公众号后台很多公众号做了一些优化，

　　作为广告公司实习生，

　　1）有朋友分享过，阿里的猴子采集器采集方法在google上有结果，所以大家可以试试。

　　2）手工分词，这个速度明显慢，还容易出错。

　　3）由于网页不可避免地不具有唯一性，如果爬取某些站点中使用ip访问网页的ip不唯一（有的域名是指向多个网站的），则蜘蛛有可能访问其他网站的ip。

　　4）爬虫时间不宜过长，防止频繁发起网络请求，或者重定向，因为爬虫内存过于饱和。

　　5）爬虫最终会并发请求数超过系统底线，爬虫根本没法从目标站点中获取信息，无法达到爬取准确率90%的要求。

　　6）除了基本的解析和去重等采集技术外，大量数据需要进行分库分表，可以采用分段爬虫实现。

　　7）我了解到的，即使是分库分表，很多大网站对于重定向比较敏感，往往需要重定向得比较久，如果电脑配置不太高可能会被卡在某个页面上；比如有个网站有x十秒，我们爬了半小时。这个页面即使对于正常用户也可能有很多信息没有收集到。比如有的网站可能要求只有x个人能看到。

　　8）浏览器上一些系统的ui做的不好。比如页面里边有很多验证码，做一些奇怪的验证码页面上也不容易找到正确的验证码。比如*敏*感*词*看网站，可能会被弹出的彩蛋吓到并且怕自己也会瞎。最后我还是建议各位找师兄师姐买一台正版web抓包工具，甚至花一两百做一套好用的定向的工具。基本就可以分析自己需要什么样的网站，