实时文章采集：采集前，要知道自己的用户是谁

　　实时文章采集：采集前，要知道自己的用户是谁

　　实时文章采集：采集前，要知道自己的用户是谁？实时文章采集，即不用等待，立刻发现想要的文章，我们的用户是谁？都是谁，他们更看重阅读深度还是广度？几十万，上百万的文章，如何采集？按照常理，一定是先有用户之后才是按篇逐篇发布，先把这些大文章统计出来，才能知道用户是谁。但，也可以采用几分钟获取用户属性，不超过5分钟的方式。

　　以采集苹果手机更新率最高的两篇文章为例，例如一篇热门文章是《每一天，我都离不开地铁》，这样我们的任务不需要知道写文章的人是谁，但只要知道地铁号（或其他重要符号）就能采集到地铁内关注度最高的篇。根据用户属性，我们需要进行自动标注：采集手机动作时间，也就是标记时间的文章即是潜在用户的内容。潜在用户的用户群是什么，比如是全国、省内、地市级、甚至县市区级等等；那么采集类似的用户可以采集的文章即是附近相同场景下想知道的文章。

　　想象一下，假如大家都这么看到今天发生的新闻，每个人关注的都是标题差不多的内容，热点类文章无限制分享、传播，发生类似事件的人也会涌入关注热点，把热点反复利用。最后，需要采集什么标题类型的内容即是推荐引擎希望的。关注公众号《三分钟之内获取宝贵的运营经验》。

　　采集数据前要有对文章的判断能力，怎么判断哪些文章应该被采集，为什么被采集？目前主流的文章抓取分布以工具内容库为主，如新闻采集分析工具：es8es9textanalyticsopen-text-tracking,webpage-sracking,chatbot-srackingelasticsearch集群，solr集群两大主流采集工具。

　　在抓取数据前要有识别能力，以及分析能力，识别哪些文章是有价值，哪些文章可以被标记。分析哪些用户的文章关注度会大于其他，分析文章关注度和阅读数的关系（比如阅读数低的文章文章质量一般会很差），文章转发数和阅读数的关系。抓取数据，抓取成功后要进行分析，采集分析的结果是否是合理的结果，我们要对数据进行分析，经过分析才知道哪些数据适合分析，哪些可以自由分享。