【知识专栏丨大数据行业应用】政府网络舆情治理！

　　【知识专栏丨大数据行业应用】政府网络舆情治理！

　　近年来，大数据、移动互联网等新兴技术的发展与成熟给人类的生产、生活方式带来了前所未有的巨大变革，互联网对于公众而言，不再是“旧时王谢堂前燕”，而早已“飞入寻常百姓家”。

　　互联网的普及也将社会治理的范围由线下拓展到了线上，在互联网创造的这一积极互动的虚拟空间中，每个公民都充当信息发布者与信息传播者的双重角色，于是影响较为重大的突发事件或社会问题往往能够迅速得到广泛关注，进而形成一种强大的网络舆情。

　　

　　图源：微博

　　

　　图源：知乎

　　

　　图源：今日头条

　　但是网络舆情的溢出效应会对国家的和谐稳定造成较大威胁，因而网络舆情治理也成为政府高度关注的焦点问题。

　　当下，政府正面临网络治理失灵的种种风险挑战，各种网络谣言、负面言论、互联网黑灰产业像病毒一样迅速蔓延。

　　

　　图源：微博

　　这部分源自于政府对于网络舆情治理的“防患于未然”做得还不够，政府过往因为采用侧重于“舆情发生中”与“舆情发生后”的被动式治理机制往往表现出“反应迟钝”，而如今高速发展的大数据技术能够帮助政府实现更及时、更准确的网络舆情分析系统，助力其实现网络舆情治理“防患于未然”。

　　接下来就给大家介绍一下网络舆情分析系统相关的大数据技术。

　　01

　　网络舆情分析系统：大数据技术

　　舆情分析系统分为四个模块：信息采集、信息预处理、舆情分析和报告。

　　该系统的设计原则是：利用大数据平台的新技术，不断提高抓取和分析舆情信息的效率。基于以上原则，将系统建立在Hadoop平台上，并加入了HDFS分布式文件系统和MapReduce编程模型，以实现快速的访问和数据的大量传输，存储和处理。此系统的目标如下：在网络中迅速自动采集少量的数据，并自动进行分析和处理，及时发现舆情热点和负面舆情，系统的总体结构如下图所示。

　　

　　信息采集：该模块与网络爬虫技术相配合，迅速、大量地从网上抓取网页信息，系统会指定URL采集入口建立表格和黑白名单，爬虫会按照指定，从对应的列表获取白名单和黑名单网页并存储下来，提高效率的同时，防止无用操作。

　　信息预处理：这一模块的主要任务是转化收集的原始网页，再将经过去重、消噪后转化生成的格式化文本存入数据库中，并提取正文信息，对处理后的文本字符串进行分割，然后在中文分词技术的帮助下生成单个词条。最后将利用向量空间、概率模型对生成的特征项文档进行特征抽取，生成文本向量集，为下一步的舆情分析工作做准备。

　　舆情分析：该模块是舆情分析系统的核心。它的功能是完成从话题识别到文本倾向性分析、热点发现等一系列工作。工作原理：第一步，通过话题识别技术对文本向量进行分析学习，并对大量同一事件的文档进行聚集，归类，发现其中的主要话题；第二步，话题跟踪技术会对后续出现的向量化文本进行计算，计算其相似性，判断两个话题的相关程度，并对新文本进行归类；第三步，文本倾向性分析会通过微机计算挖掘文本所包含的观点、态度，情感、非事实信息等内容，这一步能获取对应的文本语义，而文本语义则能帮助监督和政府部门发现负面舆情。而通过对话题进行统计，还能发现话题的出处、权威度、评论数和发言时间等关键数据，模块可将这些统计数据排序、统计，方便观看。

　　分析报告：舆情报告模块的作用就是将生成的分析结果输出到对应的政府和监督部门，为他们做出决策提供支持。常用的结果呈现方式有词云图，如下图所示。

　　

　　另外的核心技术还有网络挖掘、机器学习、深度学习等等。

　　其中应用于网络舆情分析的网络挖掘分三种类型：

　　（1）内容挖掘：以单个文件或网页为分析单位，以文本分析为主，用于分析半结构化或结构化处理后的信息；

　　（2）结构挖掘：分析网页的节点和结构，包括从网页超链接中提取规则，或是挖掘文本结构；

　　（3）使用行为挖掘：挖掘网页访问者的使用记录。

　　接下来小易将简单介绍一下舆情分析系统的功能~

　　02

　　网络舆情分析系统：功能

　　典型的网络舆情分析系统具有以下主要功能：

　　1、可以及时发现相关的舆情信息，代替传统的人工搜索；

　　2、可自动对一些负面信息、重大舆情及时发出预警；

　　3、可以进行定性定量的舆情信息分析，协助用户准确判断具体舆情或者某一舆情专题的发展变化趋势；

　　4、能够自动生成舆情资讯报告和统计各类汇总数据，提高舆情工作的质量和效率，辅助决策。

　　网络舆情分析系统不仅可以用于社会治理中，还可用于企业，具体效果如下：

　　1、实时监测企业负面信息，做好危机预防；

　　2、全面掌握自身品牌状况；

　　3、了解最新政策以及行业动态；

　　4、了解竞争对手和竞品动态。

　　03

　　结语

　　网络舆情分析系统的运行中需实时查找海量的网络信息，包括网络新闻报道、相关评论、微博、贴吧、网络论坛等，从这些信息中提取与事件相关的舆情信息，然后分析舆情信息的时间与空间分布情况，再通过多种手段和渠道做正确的舆论方向引导。基于舆情突发性、即时性等特点，网络突发事件的处理应在事件发生的第一时间加以引导和控制，故海量信息的抓取和处理效率是关键因素，同时海量的网络信息中包含大量的非结构化数据，这就涉及到大数据问题。更加说明大数据技术与如今的社会结合之紧密。