智能文章采集(面向用户网络矿工引擎服务数据采集引擎介绍及方案介绍介绍)

　　智能文章采集(面向用户网络矿工引擎服务数据采集引擎介绍及方案介绍介绍)

　　网络矿工舆情监测系统介绍及方案

　　网络矿工舆情监测系统是为用户提供舆情监测分析、网络危机公关、负面信息发现的网络舆情监测解决方案。包括数据采集、信息跟踪、信息发现、数据分析等部分。系统提供完整的解决方案，也可根据用户需求进行开发，满足用户的实际需求。

　　一、网络矿工舆情监测系统功能介绍

　　网络矿工舆情监测系统主要分为引擎部分和应用部分两部分。引擎部分是网络矿工舆情监测系统的核心。主要用户数据为采集，处理，应用部分主要针对满足条件者。对数据进行统计分析、跟踪管理等操作。下面详细介绍这两个部分的功能：

　　1.网络矿工引擎服务

　　数据采集引擎

　　数据采集引擎由三部分组成：智能文章采集引擎、正则化采集引擎和监控采集引擎。

　　1)智能文章采集Engine：是傻瓜式操作软件，用户只需提供所需的采集文章

　　入口地址（Url），系统会自动分析网页，并根据分析结果，文章数据的采集，包括文章标题、文字、发布时间、来源和其他信息；

　　2)正则化采集引擎：对于一些结构复杂的网页网站，系统还提供正则化采集引擎，

　　即用户可以配置采集规则，系统根据采集规则执行数据采集。这种方法灵活方便。

　　但问题是用户需要手动配置采集规则；

　　3)监控采集引擎：监控采集引擎是用户自定义的基于规则的数据分析采集引擎。

　　分析采集模式，即用户可以指定采集内容的关键词、浏览量等指标作为数据采集标准，

　　获取数据，这种方法更适合监控网络数据；

　　数据处理和分析引擎

　　获取到数据采集后，直接存入临时数据库，系统会根据数据进行处理。主要处理内容有：

　　1)文章识别码建立：系统会根据文章、关键词等信息段建立文章识别码。

　　从而建立文章的唯一标记，以识别文章内容的唯一性；

　　2)索引：系统会根据采集的文本对中文单词进行分词，提取有用的单词进行索引

　　表的建立，索引表的简单应用可以是一个大词汇表对照表，用来识别词汇表和收录这个词汇表的关系文章；

　　3)路径追踪：系统会自动监测文章内容的唯一性，根据文章识别码建立文章的发现路径

　　小路;

　　4)文本聚类：根据文章内容中收录的词频自动分类文章，辅助用户

　　章节管理；

　　2.网络矿工业务应用

　　舆情信息监测（负面新闻发现）

　　可用于监控网络舆情，设置预定监控规则和热点规则，系统将辅助监控网络信息，符合规则的数据将保存采集，可按照用户设置的规则。不要跟丢。

　　网络舆论是目前使用最广泛的目的，不仅是政府职能机构使用。目前，很多大中型企业越来越重视互联网口碑。对于互联网口碑的维护，信息监控是首要任务。同时，该系统是基于监控的。在此基础上，还可根据用户需求进行二次研发，对负面新闻进行完善的管理操作。

　　目前网络舆论的应用主要包括几个方面：

　　1)舆情发现：舆情发现通常有两种方式：自定义规则和网络热点。系统支持

　　使用自定义规则发现舆情，同时监控论坛回复量、点击量、转载率。

　　热点发现；

　　2)舆情追踪：可以使用文章识别码追踪舆情信息的传播渠道；

　　地址信息是否被追踪；

　　3)舆情响应管理：对发现的舆情信息进行响应和跟踪，这部分取决于用户的需求；

　　4) 预警系统：开展舆情预警，支持短信和邮件；

　　行业类型网站和信息聚合类型网站的数据源

　　可以对某行业的新闻、博客、论坛等信息源进行采集最新信息的监控，系统可以实现此类数据的每日增量动态采集、采集之后，可以根据实际应用对数据进行处理输出，供用户使用；

　　数据分析中心数据源

　　将原创数据提供给数据分析中心进行数据分析；

　　3.网络矿工数据存储

　　网络矿工数据存储由临时数据库、正式数据库和文件数据库三部分组成。

　　临时数据库：指采集之后系统第一次存储数据的地方。无法使用临时数据库中存储的信息。只有原创数据需要经过系统处理才能使用。

　　正式数据库：正式数据库是系统按照一定的规则对临时数据库中的数据进行处理，并按照用户指定的要求进行存储的数据。索引库是正规数据库的一部分；注意：正式的数据库和实际业务的用户应用程序库，可能会有所不同；

　　文件数据库：用户存储网页快照。这部分可以根据用户的需要来完成。系统默认不存储网页快照。

　　以上内容可根据用户需求进行定制，以满足用户的最终需求，用户也可以选择独立系统使用。网络矿工舆情监测系统在设计之初采用松散模式，可以相互独立运行，也可以辅助运行，方便用户使用和扩展。

　　接下来，我们将以网络舆情监测为例，简单介绍一下网络矿工的应用案例。

　　二、网络矿工舆情监测解决方案

　　1.功能组成

　　1)数据采集

　　数据采集是监控网络舆情的第一步，即获取网络信息采集。Data采集可以分为定向监控和非定向监控两种。互联网上的信息量海量，完全扫描是不切实际的。因此，必须通过策略监控互联网信息。

　　方向监控

　　网络矿工舆情监测系统可内置定向监测信息，如：重大新闻的定向信息监测网站各栏目滚动新闻，论坛、社区等信息传播场所的网络信息监测集中发布，以便您还可以设置各种监控规则，包括关键字、评论上升率等，全面监控。

　　无向监控

　　除了定向监控，网络爬虫获取网页的思路也可以用于非定向监控。通常无向监控可以使用搜索引擎作为无向监控入口点来实现最终的数据监控。

　　2)舆情分析

　　互联网信息为采集后，需要通过舆情分析引擎对信息进行分析，从而获取当前网络信息热点，也可以根据用户制定的规则发现信息。舆情分析包括以下分析策略：

　　热点分析

　　网络信息热点分析主要通过文本聚类、帖子访问频率高、新闻来源权重等方面进行识别。同时还可以根据用户自定义关键词和识别策略分析当前网络热点；

　　文章传播路径分析

　　根据文章标识码唯一标识文章，跟踪文章的出现，绘制出文章传播路径；

　　自动文本分类

　　文本聚类方法采用词性分析，即用户建立分类后，需要提供词性规则，系统会根据词性分析文本内容用户指定的规则，用于确认文本是否属于某个分类。

　　词性规则分析是一个循序渐进的过程，不是简单的一套关键词，系统是逐级逐步确认的，例如：系统会先识别区域和行业，然后再进行识别地区和行业。事件主体识别，通过这种一一分析的模式，更容易准确识别文本归属。

　　自动文本摘要

　　自动识别网页文字内容，并根据网页内容形成自动摘要；

　　事件追踪

　　针对突发事件，开展定向信息检索，力求全面了解和还原事件；

　　3)预警系统

　　舆情分析引擎分析出符合预定监控规则的信息后，系统会自动通过邮件、短信、网络发布等多种形式发出预警和提醒。同时，预警系统还可以根据用户的实际应用需求设置预警策略，包括预警级别、预警类型、预警触发动作等。

　　4)统计分析

　　根据舆情分析结果，进行各类报告统计。舆情分析只是海量互联网信息分析的第一步。由于自然语言的复杂性，一个计算机系统再智能，也无法做到100%真实的语义分析。因此，根据舆情分析的结果，必须按照统计策略提供统计报告，并进行人工判断和审查，才能正式判断为热点内容。

　　统计分析的结果可用于按照用户指定的格式生成日报，并按照指定的规则发送邮件。可以根据收件人和时间段设置规则。

　　2.它是如何工作的

　　

　　网络矿工舆情监测系统会首先根据用户设置的定向和非定向搜索规则对互联网信息进行互联网数据采集。数据采集后，立即进入热点匹配链接。将有两种类型的热点匹配。方法组成：1）自定义规则匹配；2）自动匹配；匹配到满足规则要求后，系统会自动存储网页，数据存储分为索引列表存储和索引列表存储两部分。网页快照存储；用户访问主要是访问索引库，所以这样做的目的是为了提高整个系统的访问性能，因为互联网上的数据会非常大，如果只存储网页，数据库也是TB级别的，所以数据库必须要进行处理，最好的办法就是建索引。同时，索引库还承担了存储URL的功能，保证URL可以去重，提高了系统的效率。

　　数据存储完成后，可实现用户级热点审计，统计结果，获取用户需要的内容。同时还可以根据用户的预警规则进行预警处理。目前预警支持三种方式：短信、邮件和界面预警。预*敏*感*词*式可由用户自定义。

　　三、硬件解决方案

　　从上述方案的分析来看，我们推荐至少两台服务器来承担上述工作，一台专用于数据采集处理，一台用于用户数据存储和应用。

　　

　　数据存储、应用服务器

　　数据采集服务

　　1.数据采集处理服务器

　　数据采集是多线程系统完成的，所以系统损耗比较大。同时，数据采集存储后，需要一个数据处理引擎进行数据处理，所以需要独立的服务器来承担。但是，仅靠一个独立的服务器来承担数据采集和处理是不够的。同时，我们还需要分析日常数据增量和网络带宽的支持情况。

　　2.数据存储应用服务器

　　数据存储应用服务器主要负责正式的数据存储、检索等应用操作。例如：网页关键信息跟踪、自动分析、报表生成、预警等。这部分可以根据实际情况进行调整，可以继续承担web应用的功能，也可以独立配置部署，即专用的数据存储服务器。

　　四、连接客户应用程序

　　通常，对于异构系统，基本采用松散模式进行连接，通过提供标准接口来提供或触发相应的规则和数据。在这里，网络矿工舆情监测系统也是通过这种方式与客户或第三方的系统相连接的。

　　1.数据接口

　　网络矿工本身提供了临时库和正式库的存储格式，但是这方面也可以根据用户的实际应用需求进行调整，即当数据采集可以定向采集 ,采集数据和存储可以由用户自己制作，最大限度满足用户的实际需求。

　　2.应用接口

　　应用程序接口以接口的形式提供，接口形式有组件接口和webservice接口两种。接口完全根据用户需求提供，网络矿工舆情监测系统默认不提供接口调用。