文章采集系统的链接收集，是全量？还是定点？

　　文章采集系统的链接收集，是全量？还是定点？

　　文章采集系统，一般来说就是让用户自己去爬，比如雪球，*敏*感*词*，然后把数据挖掘，系统会把数据和相关信息发到数据平台上，像采集系统，相关性很高，比如我要采集qq，要做qq分析，你就可以使用他的采集系统，这样就可以获取qq相关信息。

　　确定是要收集互联网上什么数据，或者收集你的数据应该去哪些网站的链接收集，是全量？还是定点？两个解决方案的关键数据源是不同的。没有对接，单单采集一个网站的数据没用，对于个人来说，

　　公司小很多数据是不需要单独收集的，你把数据放公司办公室就有数据来源了。

　　爬虫是必须的，如果采集代码没有多少技术含量，

　　1、爬虫爬取我认为第一步应该是采集我认为大多数网站都对爬虫要求很低，可以是爬虫软件，可以是redis云爬虫，可以是easyphp，甚至es等都可以爬，那我认为在数据量确定爬取完了如何如何准确这一步应该不是主要，关键是确定我想爬的东西在哪里，就是在开始大量采集出来之前，要考虑的。

　　2、存储，确定采集数据量很大，对查询要求高，最好是存储在硬盘，无论在公司还是网络环境等环境。存储是痛点，基本算是很多数据会长时间，长时间累积起来的，所以数据的准确性比较重要。

　　3、分析，这个是大头，数据量大不是数据分析结果会出问题，是很多东西你数据你算不清楚你能收集哪些数据来源，建议分析的时候选择连续的上周整数的小时，甚至更小的数据为参考，以一周的为最佳，也不宜太多，

　　4、聚合（对接，聚合包括采集->聚合分析->分析结果可视化（可视化比较复杂））->批量命令执行->重复+计算->停止->总结及摘要，*敏*感*词*的下来，有的能做全部，有的能做核心，有的只是入门，你对自己要求，对对接文档以及不同人对文档要求不同，自己评估，有的能做超深的进阶，比如深入挖掘进入神经网络，有的只能做战斗。