基于BBS内容安全监管的数据采集系统的设计与实现

　　基于BBS内容安全监管的数据采集系统的设计与实现

　　计算机科学２０ ０ ６Ｖ ０ １． ３３Ｎ ＿ ｏ ． ９ （ 专辑）基于Ｂ Ｂ Ｓ 内容安全监管的数据采集系统的设计与实现李艳玲戴冠中朱烨行（ 西ｊ也工业大学自动化学院南京７ １０ ０ ７ ２）摘襄针对不良信息对网路空间的侵袭， 给社会带来的害处， 本文提出了Ｂ Ｂ Ｓ 内容安全篮管系统结构模型， 对嚣申的数据采集系统进行了诺细设诗与实现， 并通过系统的实际运行证明， 该系统可以为Ｂ Ｂ Ｓ 的实时监控提供有效的数据支持。美键溺Ｂ 骼， 悫容安全监蟹， 数据采集１序言随着网路应角的普及， 阏络已成为信息转播的主要载体。 其中， Ｂ Ｂ Ｓ 等网路峰会成为网民参与讨论、 表达意见的主要场所。 网络空间本身具有的容量， 为信息的频繁、 大量发布与复制提供了可能， 某些别有用心的人很容易提升个别不良信息（ 包括反共、 谣言、 暴力、 *敏*感*词*等信息）的报导频度和硬度， 弓ｌ起人们对这种信息的关注， 给正常的社会秩序注入不稳定诱因， 某些憾况下， 甚至可熊弓ｌ发突发事件。嚣此， 需要赜８蹒进行监控与管理， 及时掌援阏络虚拟世界中的热点话题， 为政府揣度民情和民声， 做出科学的决策， 采取糨应的播旖键进有益的趋势稻防止现实化学世界中可能出现的不良后果提供支持。

　　本文提出了Ｂ Ｂ Ｓ 内容安全监管系统结构模型，对其中的数据采集系统进行了详尽设计与实现。２ Ｂ Ｂ Ｓ 内容安全监管系统结构模型图１Ｂ Ｂ ｓ内容安全监管系统结构模型９ １Ｂ Ｂ Ｓ 内容安全监管系统结构模型如图１所示。整个系统分为四个层次， 数据采集层负责采集监管须要的数据， 内容剖析层负责对内容的安全检查、 预测剖析等， 研讨层把人脑中的知识同系统中的有关信息结合上去， 扩展专家和计算机的能力， 从而提出对复杂问题的解决方案， 输出层是处理结果。人机接口｛ ｝任务管理器ｊ【主题Ｉ燃集器ＪＬＳ蠡心№合山＿ 一飞页面孥器｝＝跟踪数据整理器她ｌＩｌ虚拟社联挖掘Ｉ内＇攀库Ｊ鬯本！容ｂ点掣掘ｆ薪陋赢删黍图２数据采集系统构架３数据采集系统构架数据采集系统构架如图２所示， 主要包括五个功能模块： 任务管理器、 数据采集器、 页面处理器、 数据整理模块和主题跟踪器， 各模块通过任务管理器，在操作员的调度下， 完成内容安全剖析等须要数据的手动采集。 尽量做到数据的自动化处理， 即数据采集过程对用户是透明的， 但须要用户可以通过窗口对其监视， 或下达停止、 添加任务等命令。其中， 任务管理器主要负责工作任务的设置、 添加、 删除及运行状况的查看等， 工作任务包括数据采集的运行时间、 周期设置、 目标站点的设置、 目标主题的设置等， 由操作员通过人机插口下达； 数据采集器按照任务管理器下达的任务， 到指定的目标峰会采集数据， 生成待处理贴子的Ｈ Ｔ Ｍ Ｉ． 页面的Ｕ Ｒ Ｉ。队列， 送入文件集合。 页面处理器主要负责对采集到的页面进行剖析处理， 提取...