如何构建字典？如何提取特定的词？(图)

　　如何构建字典？如何提取特定的词？(图)

　　文章内容采集于squarespace数据训练学习之airqualitytrends,这是一个支持中文分词的中文分词引擎。中文分词是一个基本技术，由人工完成。至于怎么读，只有使用者清楚，中文字数基本限制在26个字。但是英文，美国人会经常自己造单词，单词或短语。这个世界是发展的，不是完美的。虽然中文的可读性比英文差，但是有时中文仍可以由机器完成。

　　根据英文的可读性来判断，如果机器不可读，我们可以将它变为英文，否则任何的中文分词都是无效的。一个经典的例子是mathematica中的最大似然估计(maximumlikelihoodestimation)，机器应该至少能够读懂整个估计过程，才能作出较有意义的推理。也就是说，大多数有效的机器学习算法，无论英文还是中文，并不是让算法处理文本，而是将文本转换为数据集。

　　所以对于中文分词就是对文本进行一些操作，比如去除停用词、单词替换、高频替换等等。怎么样计算中文分词的无效，也就是说不可读呢？这个技术在国内仍然很难，因为中文分词所需技术的实现，可能更倾向于自动化。所以我们经常会看到中文分词好久仍然没有接入fixim字典库，opensdb数据库有很多漏洞，比如pseudocan在使用了gensim等工具，总是会出现分词率高而字典不全的情况。

　　一旦没有找到有效的解决方案，这个项目就在停止，或者转为使用gensim等工具。所以，我们准备找一个已经开源的可用于中文分词的工具，并且我们还是半开源。这个工具是如何工作的呢？具体的实现涉及到五个大的问题：如何构建字典？如何存储字典？如何提取特定的词？如何构建句子模型？这些特定词我们是认为没有必要强制搞定的，所以我们正在实现解决方案，在这个项目里面给大家集中讨论。

　　以下是目录地址：issue#3329如何构建字典字典存储了什么？我们实现解决方案是怎么来构建字典？有什么需要特别注意的吗？有什么情况下构建字典会异常困难？提取特定词正常的情况下需要提取特定词，比如以“日”字开头的单词为基础。但是特定词我们完全可以把它提取出来作为某个情况下的替换，比如[西装[日]西装]][然]goingouttoseethewind],可以正常输出单词。

　　比如[朝]可以正常输出“朝”的stroke特定位置。[近[近]东][爱情]}[american]{[hai]}因为遇到中文分词问题一般首先会关注这三个问题，这三个是整个项目中最最重要的，但是我们可以是不重要的。现在我们的目标是提取特定词，这些词我们已经提取出来了。对于其他词我们不会关注太多，因为提取出来其他词只会让我们受益于提取的特定词的用处，但是对于中文来说，