采集内容插入词库(分析下热词挖掘系统，看他是怎样工作的？)

　　采集内容插入词库(分析下热词挖掘系统，看他是怎样工作的？)

　　看到一张有趣的微博图（下），好想知道“互联网+”等单词输入法是怎么第一时间进入词库的收录，这是人工监控采集的吗？?

　　当然，这根本不可能是人工监控，搜狗也找不到这么多“临时工”。

　　好了，不开玩笑了，以下是纯干货。下面我以搜狗输入法为例来分析一下是怎么做的？

　　既然不是人为的，那肯定是程序分析，但到底是什么程序呢？据我所知，输入法其实并没有具体的名称，但原理其实很清楚。我根据目的在这里编了一个。我们称他为热词挖掘系统。我不知道它是否准确。要，有更好的方法，请补充。

　　事实上，挖掘系统是为了及时发现互联网上的新词来丰富词汇库而开发的。所有新词主要来自三个来源——搜索热词、社交媒体热词和用户高频输入的热词。一旦上述渠道的在线新词热度达到预设值，就会触发热词挖掘系统，云词库将收录该词推送给用户。这实际上从另一个角度说明了一个问题。一个新词在网上是否流行，是否被输入法搜索到词库，其实也是判断标准之一。

　　接下来，我将详细分析热词挖掘系统，看看它是如何工作的！

　　搜索

　　首先我想说的是，搜狗输入法是一个特别厉害的地方：搜狗输入法和搜狗搜索到的数据其实是共享的。这样做的结果是，搜狗输入法可以根据用户的搜索次数来判断各种词是否流行。一旦“关键词”搜索频率过高，搜狗输入法会及时与云词库进行对比。，如果发现词库中没有这样的关键词，当这个关键词的搜索量达到一定程度时，会触发搜狗热词挖掘系统判断，并添加确定为热词后进入词汇表。比如题主提到的“互联网+”这个词绝对不在原词库中，

　　社交媒体

　　社交媒体是互联网上新词最重要的优采云。根据新浪微博公布的数据，每天发布的内容超过1亿条（其实可能没有这么多，呵呵）。这些微博内容从流行的笑话到心灵鸡汤和文艺青年。其实就是热词系统需要爬取和分析的所有内容。另外值得一提的是，据说热词挖掘系统可以独家挖出微信公众号的内容进行分析（有教父就是牛）。因此，一旦像“duang”这样的新词出现在社交媒体上，热词挖掘系统会根据其被提及率、阅读量以及收录该新词的热门微博的重评价数据对其进行分析。对比后，

　　用户体验计划

　　其实不管是哪个软件，都会有这样的提示，“加入XXX的用户体验计划”，而搜狗输入法用户体验计划的主要目的就是更新词库。新词出现后，搜狗输入法热词挖掘系统会统计这些用户提供的新词的热度。一旦热度超过一定标准，搜狗输入法也会将这些词加入到需要更新的词库中。.

　　以上只是我的一些初步分析，但相信离事实不远。如果输入法的同学可以看到，有兴趣的不妨加一下。