资讯内容采集系统(支持对查询次数限制作了限制的网站-支持境内外 )

　　资讯内容采集系统(支持对查询次数限制作了限制的网站-支持境内外

)

　　支持 网站 限制查询次数

　　●支持用户名、密码、验证码、自动登录并回复

　　●支持海量资料采集，可下载各类文件

　　●自动获取动态IP功能，防止个别网站反*敏*感*词*

　　●数据增量采集，支持自动实时更新

　　●支持每种采集信息的自定义来源和分类

　　●支持智能采集替换功能，可去除广告等嵌入内容的所有无关部分，支持多页

　　Face文章自动提取合并内容

　　●支持记录唯一索引，避免重复存储相同信息

　　数据为采集后，直接压缩存储在Access、MY SQL、SQL Server等主流数据库中。

　　●对下载的信息进行管理、搜索、标记和传输，并设置专门的结果区进行分类和编辑

　　●支持数据导入导出：按指定批量数据（含附件）；根据日期

　　●自动获取文章中的IP地址并解析对应的物理地址

　　●搜索任务可以手动定时启动【每天几点开始采集】

　　●扫描网站或需要监控的网址，跳过未自动更新的页面。

　　Ⅱ．情报分析

　　●支持搜索引擎检索（百度、google、msn等），可添加海外搜索引擎

　　●支持*敏*感*词*目标网站、博客、论坛定位采集，可手动设置下载地址的优先级

　　●支持下载信息关键字（“and”、“or”）的组合检索

　　● 通过关键字监控下载或下载信息的内容，并自动保存到指定目录

　　●支持多种搜索语法

　　●整个互联网信息可以采集和

　　监视器。

　　三、软件架构

　　?软件架构清晰

　　

　　软件架构图

　　3. 使用说明

　　3.1 软件安装

　　下载软件安装包：/downloads/KWebWatcher701.exe后，双击安装，选择默认安装方式，一直点击“下一步”按钮，直到软件安装完成。安装完成后

　　

　　图1 开始安装

　　

　　图 2 完成

　　

　　图 3 启动软件

　　3.2 情报监控

　　3.2.1 添加情报分类

　　单击工具栏上的“”按钮，弹出如图9所示的对话框。输入类别名称。为了方便情报话题的分类和管理，软件中引入了情报类别。可以通过类别有效地管理阶段

　　关于该主题的情报信息。

　　

　　图9 添加智能监控分类

　　3.2.2 添加监控主题

　　点击工具栏上的“”按钮，弹出如图10所示的对话框。选择监控类别后，输入一个名称来标识主题，如“西南干旱”。然后在“包括以下所有关键词”中输入一个或多个关键词：如“西南干旱”，每个关键词用空格隔开。

　　为了控制情报的质量，可以使用“并且收录以下任意一项关键词”和“不收录以下全部关键词”

　　在 .

　　

　　图10 添加智能监控主题

　　

　　图 11 监测结果

　　3.3 采集部署

　　最新版软件目前提供五种模式的智能采集部署方案。我们可以在工具栏上找到 Open for deployment。您也可以在“情报监控首页”面板的“情报采集部署”组中打开相应的界面来部署采集。这些方法是：监控指定网站、监控指定论坛、监控全网、监控指定集群新闻链接和推荐采集站点列表采集。下面，我们一一介绍。

　　3.3.1 采集指定网站

　　在实际应用中，我们经常需要持续监控某个网站，监控与我们关注点相关的情报。这样就可以点击工具栏中的“”按钮，弹出如图4所示的界面。

　　

　　图4 采集指定的网站

　　在“网站Address”字段中输入您需要监控的站点地址，例如。如果还需要*敏*感*词*网站下面的其他子频道，可以点击旁边的“”按钮，软件会遍历本站的链接地址，展开其他子频道。根据需要勾选子频道。

　　选择一个保存渠道，为了方便以后站点数量持续增长时对站点的管理，我们需要预先建一个站点保存类别，然后在这里选择指定的类别。然后该站点将保存到指定的类别。

　　

　　，如果我们同时选择网站的以下子通道，我们还需要

　　点击分类管理，可以勾选此项。

　　采集深度：如果我们需要对网站进行全面监控，可以将采集深度设置为2级或更高，设置越高，监控一个网站@ > 需要的时间越长。如果需要全站监控，一般设置为3-5就足够了。

　　我们也可以为网站的采集指定智能监控主题，或者不指定，默认监控当前库中的所有主题。

　　3.3.2 选择推荐网站

　　除了指定采集网站，我们还可以从软件预设网站中选择监控网站。目前，软件中有2万多个网站预设，覆盖全国35个行业的主要媒体和企业网站。在主面板下

　　“”打开如图5所示界面。

　　

　　图 5 推荐的 采集 站点

　　在左侧的导航树上，我们选择一个类别，该类别下的所有推荐网站信息都会加载到右侧对应的列表中。只需勾选需要监控的网站记录前面的网站即可。然后单击“确定”按钮。达到监控网站的目的。这里我们也可以选择监控对象，或者默认监控全部。

　　3.3.3 监控网站论坛

　　点击工具栏上的“”按钮，弹出如图6所示的对话框。输入您要监控的一项

　　比如点击后面的“”按钮后，软件会自动识别论坛的模板，提取论坛的各个子版块。用户可以查看需要监控的子部分。

　　选择一个保存频道。如果您需要单独保存每个子频道，可以勾选“自动在该频道下创建子频道”选项。

　　智能监控主题可以为网站的采集指定，也可以不指定，默认监控当前库中的所有主题。

　　

　　图 6 网站 论坛监控

　　3.3.4 全网监控

　　点击工具栏上的“”按钮，弹出如图7所示的对话框。输入一个需要监控的

　　关键词 的。关键词您可以输入多个，以空格分隔。如需全网监控广州BRT相关信息，可进入“广州BRT”，在下方搜索引擎列表中查看指定搜索引擎。然后选择一个保存通道来保存站点和它采集到的信息。

　　同理，可以为网站的采集指定智能监控主题，也可以不指定，默认监控当前库中的所有主题。

　　

　　图7 全网监控

　　3.3.5 集群信息监控

　　聚类信息是WEB2.0 的产物。网站管理员动态生成的聚类信息采集了某类目标网站的最新信息。监控也是可能的。单击工具栏上的

　　“”按钮，弹出如图8所示的对话框。

　　

　　图8 集群信息监控

　　3.4 生成简报

　　在这里，您可以将选定的情报整合到此时事通讯中，或下载它。这里有 2 种下载格式，word 和 excel。单词下载可以下载全文。Excel 下载包括新闻标题、新闻来源、发布日期和原创文本的链接，但不包括文本。还可以生成此问题中所有情报的可视化呈现，如图 12 所示。

　　

　　图 12 情报简报

　　4. 监控示例

　　某政府部门：构建智能新闻舆情监测系统

　　中外新闻舆情的采集和分析是政府部门的主要基础工作。为面对当前网络媒体蓬勃发展的新趋势，借助先进的IT技术，提高新闻监测的覆盖面、实时性和工作效率，某政府部门构建了中外新闻舆情使用“即时互联网舆情监测系统”进行监测。，从而实现自动采集、通讯社新闻、互联网网站新闻和电视新闻的分类和排序等功能，可以方便快捷地掌握以各种形式传播到世界各地的新闻报道通过内部网络系统。

　　中外新闻舆情监测系统的实施大大提高了某新闻部门的实时采集和采集效率，减少了工作人员采集的工作量，使某个部门的工作人员有更多的时间和精力投入到新闻分析中，为领导决策提供更好的服务和参考。

　　北京市工商行政管理局：基于互联网信息的食品安全预警

　　食品安全是事关国计民生的重大问题。食品安全监测体系建设是2005年北京市政府对民营企业实施的55个实战项目之一。随着互联网的普及，互联网所收录的信息和价值越来越大，互联网监控也成为食品安全监控的重要组成部分。事件的发展和传播，同时通过了解网友对食品质量的反馈，及时发现安全隐患等。

<p>北京食品安全监测系统采用“互联网即时舆情监测系统”，实现对互联网信息的实时采集和监测，全面监测重大网站、行业