文章采集功能(采集技术的瓶颈在哪里？有没有可以突破的空间？)

　　文章采集功能(采集技术的瓶颈在哪里？有没有可以突破的空间？)

　　文章采集功能，对于很多开发者来说，是后端开发的重中之重，搜索引擎也算是互联网业界标杆。对于采集框架来说，又可以分为如下几类：1.基于爬虫技术，聚合多个网站的spider文件采集工具，如tinyspider或parsedspider，此类采集工具多为web开发者所采用。2.基于人工智能技术，采集成功后自动生成json文件并分享给其他网站。

　　如openrice，juejin和基于人工智能技术的googleanalyticsmachinejoinspider。3.基于人工智能技术，采集成功后自动生成json文件并分享给其他网站。此类采集工具多为运营人员采用。4.采集统计系统，采集的html*敏*感*词*可分享给其他网站。如cms系统或第三方的saas服务。

　　5.基于云端存储。6.本文并未写出，但是相关的云存储解决方案也是非常好的选择。笔者采用goolgeanalyticsmachinejoinspider,并且采用它进行了一个网站的采集任务，目前的效果如下：点击率1%~6%，压缩率在0.1k~5k左右，也就是说采集成功后，压缩率大约在0.25k~1.5k左右。

　　后面我会放上压缩后的源码。作者：“黄诗雨”链接：采集技术的瓶颈在哪里？有没有可以突破的空间？-黄诗雨的回答来源：知乎著作权归作者所有，转载请联系作者获得授权。

　　没有云存储有时候真的很头疼，自己能力有限，