文章句子采集软件(中文文本分析领域常用的词云图工具，你知道吗？)

　　文章句子采集软件(中文文本分析领域常用的词云图工具，你知道吗？)

　　本文与上一篇文章文章《自然语言处理的NLP知识与产品笔记》同属一个系列。如前所述，这是 GooSeeker 团队在开发新版中文文本分析软件过程中做的一个学习笔记，所以，再次提醒一下，下面整理的内容，尤其是概念之间的关系，可能不够严谨。整个内容肯定是不完整的，只是分享给大家作为探索的线索。

　　本人在中文文本分析领域工作10余年，结合公司的网络爬虫产品，完成了舆情分析、消费者心理行为分析（消费者洞察）、监管等一系列解决方案以及政策分析、智慧城市数据平台建设等。在过去的10年里，如果你继续列出中文分词工具的名单，你会发现排名变化很快。因此，在软件工程项目的实施中，必须不断地观察新方法、新软件。某个时期最好的软件，很快就会被其他软件超越。超越和前进固然好，但有时也很可惜，

　　文章最后整理采集了一些常用的词云图工具。如果您觉得它们有用，您可以为它们添加书签。

　　

　　1、分词困难

　　1.1、分词算法

　　分词算法有很多种，会得到不同的分词结果，影响下游软件。

　　1.2、未注册字识别

　　如何识别未注册词OOV

　　1.3，歧义

　　2、分词法

　　2.1，基于字典

　　(1）前向最大匹配法FMM：从文本中从左到右切出最长的单词

　　(2）反向最大匹配法BMM：从文本中从右到左切出最长的单词

　　(3）N-最短路径法

　　(4）双向匹配分词方法：从左到右和从右到左两次扫描

　　缺点：对模棱两可和未注册的词处理不当。

　　2.2，机器学习

　　(1）隐马尔可夫模型 HMM

　　(2）条件随机场模型 CRF

　　(3）最大熵模型 ME

　　(4）N-gram 模型 N-gram

　　(5）支持向量机SVM

　　(6）深度学习

　　缺点：训练集需要大量人工标注语料和对统计特征进行排序。

　　优点：不仅考虑词频，还考虑上下文，可以有效消除歧义，识别未注册词。

　　2.3、其他相关知识

　　(1）词向量转换/特征降维

　　(2）TF-IDF

　　TF 表示词在语料库中出现的频率；DF表示整个语料中有多少语料，IDF是DF的倒数（取log）；TF——IDF越大，这个词越重要。

　　通常用于 关键词 提取。

　　(3）TextRank

　　根据词之间的邻近关系搭建网络，通过PageRank迭代计算词的排名；

　　常用于关键词提取，自动抽象提取。

　　3、分词软件和云服务

　　3.1，开源或免费

　　(1）Hanlp 分词器

　　最短路径分词，具有中文分词、词性标注、生词识别、命名实体识别、自动摘要、文本聚类、情感分析、词向量word2vec等功能，支持自定义词典；

　　采用HMM、CRF、TextRank、word2vec、聚类、神经网络等算法；

　　支持Java、C++、Python语言；

　　(2） 口吃分词

　　根据词频找到最大切分组合，具有中文分词、关键词提取、词性标注功能，支持自定义词典；

　　采用HMM模型和Viterbi算法；

　　支持Java、C++、Python语言；

　　(3）哈工大LTP

　　具有中文分词、词性标注、句法分析等功能；

　　商业用途需要付费；调用接口，每秒请求数是有限的；

　　编写语言包括C++、Python、Java；

　　(4）清华大学THULAC

　　具有中文分词和词性标注功能；

　　可用于 Java、Python 和 C++；

　　(5）北京大学pkuseg

　　支持按领域分词，具有词性标注功能，支持用户自训练模型；

　　基于CRF模型和自主研发的ADF训练方法；

　　有python版本；

　　(6）斯坦福分词器

　　支持中英文多语言分词，提供训练模型接口，也可以使用已有模型，但速度较慢；

　　用Java实现的CRF算法；

　　(7）KCWS 分词器

　　具有中文分词和词性标注功能，支持自定义词典；

　　采用word2vec、Bi-LSTM、CRF算法；

　　(8）ZPar

　　有中文、英文、*敏*感*词*文分词、词性标注；

　　用 C++ 语言编写；

　　(9）IKAnalyzer

　　具有中文分词功能，支持自定义词典；

　　(10）Jcseg

　　具有中文分词、关键词提取、自动摘要、词性标注、实体识别等功能，支持自定义词典；

　　基于mmseg、textRank、BM25等算法；

　　(11）复旦NLP

　　中文分词词性标注实体名称识别关键词提取等；

　　(12）SnowNLP

　　有中文分词、词性标注、情感分析、文本分类、提取关键词等功能；

　　基于HMM、朴素贝叶斯、TextRank、tf-idf等算法；

　　Python 类库；

　　(13）ansj 分词器

　　有中文分词、姓名识别、词性标注、自定义词典等功能；

　　基于n-Gram+CRF+HMM算法；

　　(14）NLTK

　　擅长英文分词，也支持中文分词处理，但建议使用其他分词工具对中文语料进行分词，然后使用其处理功能；

　　蟒蛇库；

　　(15）跑顶解牛

　　3.2，其他

　　(1）NLPIR, 中国科学院计算技术研究所

　　具有分词、词性标注、生词识别、命名实体识别、情感分析、关键词提取等功能，支持自定义词典；

　　(2）腾讯文治

　　(3）BosonNLP

　　(4）百度NLP

　　(5）阿里巴巴云NLP

　　(6）新浪云

　　(7）盘古分词

　　具有中英文分词功能，支持自定义词典；

　　4.词云图制作器

　　(1）艺术字

　　(2）塔古尔

　　(3）Wordle

　　(4）WordItOut

　　(5）标签

　　(6）到云

　　(7）涂悦

　　(8）office的PPT插件Pro Word Cloud

　　(9）BDP *敏*感*词*

　　参考：

　　什么是最好的中文分词解决方案？

　　潘洋：五款中文分词工具在线PK：Jieba、SnowNLP、PkuSeg、THULAC、HanLP

　　没有猫：中文分词算法介绍

　　湖心小本算：中文分词（CWS）回顾

　　灰色：干货 | 史上最全中文分词工具

　　老宋茶书社：深度学习时代，分词真的有必要吗？

　　如何生成关键词 云图？