网站内容采集系统(互联网舆情监测系统实时监测网络信息传播使预防违法*敏*感*词*)

　　网站内容采集系统(互联网舆情监测系统实时监测网络信息传播使预防违法*敏*感*词*)

　　【摘要】 网络舆情监测系统实时监测网络信息的传播情况，是新媒体发展的产物。舆情监测让用户第一时间发现舆情，跟踪舆情，了解舆情发展，为防范违法*敏*感*词*提供可能。网络爬虫作为舆情监测的一部分，很大程度上决定了舆情监测的实时性。本文设计并实现了网站文本数据采集系统，用户通过该系统配置网站模板等相关信息，自定义抓取目标网站的内容，并为舆情系统提供实时数据源。网站文本数据采集 本文设计的系统主要通过爬虫资源配置与监控平台和爬虫爬取信息平台两个子系统实现定制网站内容的爬取。爬虫资源配置与监控平台采用Struts2、Spring等JavaEE开源开发框架，采用系统分层结构和模块化设计，提高系统开发效率和可扩展性。爬虫爬取信息平台参考sourceforge开源网络爬虫Heritrix项目架构，针对自身产品需求进行了重新设计开发。爬虫资源配置和监控平台主要负责配置网站要爬取的信息，包括：站点、频道、*敏*感*词*、模板和其他配置信息。此外，平台实现了配置模板的测试功能，以验证模板配置的准确性。同时，平台提供爬虫爬取历史动态展示图，方便用户在后台监控爬虫爬取次数。您还可以导出模板错误记录和修改错误模板。爬虫爬取信息平台主要负责配置网站信息的爬取，通过*敏*感*词*加载、网页下载、网页解析、存储四个步骤实现网页内容的采集。在系统设计开发过程中，作者参与并完成了以下五个方面：（1) 采集客户需求，调查爬虫产品现状，梳理系统整体需求和各模块功能需求。( 2)完成了整体系统架构设计和功能模块划分。(3)根据各个功能模块的划分，制定了各个模块的功能方案。按照计划，作者完成了网站信息配置管理、模板测试、爬虫记录状态展示、爬虫*敏*感*词*获取、HTML下载、模板解析、存储等模块的设计。（4)作者对各个功能模块进行了编程根据具体设计。（5)作者对关键开发模块进行了功能测试，并验证了采集的准确性。该系统作为内测版本，可以满足客户的基本需求，但尚未成为部门的竞争产品。未来需要改进模板的自动配置和爬虫的效率采集，使其成为部门的竞争产品。为公司带来可观利润的产品。