舆情检测系统蓝皮书

　　专业舆情检测系统

　　安吉专业舆情检测系统功能

　　网络舆情采集

　　安吉专业舆情监控系统依据用户配臵的采集策略手动采集网络上的各色文本信息。采集

　　器在互联网上不断采集各类信息，都可进行统一加工过滤、自动分类，自动提取标题、来源、发布时间、正文等信息，形成舆情数据库。

　　提供多种采集策略

　　“定向采集”:用于实时监控互联网上指定网站的的重要信息，及时发觉有价值的信息。“定向采集”相对于搜索引擎采集具有获取数据速度快、信息采集准确度高等特性。 “全网采集”:通过设臵关键字策略借助Google、Baidu、Bing等搜索引擎进行全网搜索。相对于“定向采集”该方法大大提升搜索覆盖率，使信息获取不留死角。

　　丰富的信息采集内容

　　支持网页结构手动剖析

　　信息采集器实现了基于网页结构的统计剖析算法，能够依据模板标签手动辨识、判断出每一篇文章正确的标题、时间、作者、来源等关键及其评论信息，满足舆情剖析的须要。

　　支持Javascript、Ajax等动态技术生成的页面采集

　　支持登陆采集

　　支持RSS解析

　　许多博客、新闻评论采用RSS实现内容共享，除网页基本信息，RSS会收录更丰富的元数据信息，比如标题、作者、发表日期、分类、关键词等，这些元数据对于舆情剖析有 重要的价值，信息采集工具实现了对RSS聚合内容的手动解析和采集。

　　自动编码辨识

　　URL去重

　　信息采集器启动工作的过程中，对同一个网页不进行多次下载，因为重复下载除了会浪费资源，还会为搜索引擎系统降低负荷。URL去重控制这些重复性，很好的解决同一个网页重复下载的问题。

　　信息采集器采用领先的unicode编码技术，支持多种语言格式网页的采集。 通过对采集器进行登陆设定，可以实现对须要登陆验证网站的信息采集。 实现对采用动态技术生成博客、论坛、评论等信息确切和全面的采集。