中科点击警犬网路信息采集系统

　　中科点击警犬网路信息采集系统

　　系统简介

　　一.“信息采集系统”系统概述：

　　信息采集是指借助计算机软件技术，针对订制的目标数据源，实时进行信息采集、抽取、挖掘、处理，从而为各类信息服务系统提供数据输入的整个过程。

　　军犬信息采集专家是一款基于人工智能的手动学习技术，功能强悍、简单实用的互联网信息采集与监控软件。

　　二、互联网信息采集与挖掘：

　　要求从互联网上对特定目标数据源或不特定目标数据源进行采集与监控，并对信息进行结构化抽取保存为本地结构化数据库，然后按业务流程需求与其它模块结合，导入与应用并服务于到电子行业平台。

　　互联网数据采集与挖掘技术是指借助计算机软件技术，针对订制的目标数据源，实时进行信息采集、抽取、挖掘、处理，从而为各类信息服务系统提供数据输入，并按业务所需，进行数据发布、分析的整个过程。

　　三、互联网采集系统流程图

　　第一步：确定采集任务。

　　第二步：每个采集任务，我们有多个目标数据源可供采集。

　　第三步：针对不同的目标数据源，进行不同的采集配置，以确保能采集到数据。

　　第四步：调度采集任务，与目标站点同步更新，增量采集。

　　第五步：采集到数据结果，完成数据异构到同构的过程。

　　第六步：通过发布服务器，将数据发布到应用平台。

　　四、军犬“信息采集系统”8大应用领域：

　　1、搜索引擎与垂直搜索 2、综合门户与行业门户

　　3、电子政务与电子商务 4、知识管理与知识共享

　　5、企业竞争情报系统 6、BI商业智能系统

　　7、信息咨询与信息增值 8、信息安全和信息监控

　　五、军犬“信息采集系统”-软件特征

　　(1)、过滤干净，智能化抽取正文，且图文关联

　　(2)、数据导入插口丰富，可以将数据导入成各类主流关系型数据结构。

　　(3)、军犬“信息采集系统”配置简单

　　对于新闻资讯采集，只需输入待采集目标网站的地址或某个主题页面地址，软件即会手动学习网站的风格，并手动提取网站的资讯，无需配置模板，目标网站风格发生变化，软件手动学习。对于数据采集软件提供了通俗易懂的站点配置向导，维护人员稍加培训即可配置出任何的信息采集。对于复杂的采集过程，通过一张采集卡脚本即可实现信息的手动采集与监控。

　　(4)、军犬“信息采集系统”所采即所得，所采即可见

　　(5)、军犬“信息采集系统”增量采集与手动更新

　　增加采集：对于初次采集目标网站，软件支持完全采集；而对于已采集过的站点支持增量采集。支持手动更新：自动检查站点是否发生更新，并不会遗漏任何一个重要的信息。

　　(6)、军犬“信息采集系统”采集结果手动排重

　　不是借助简单的规则判别,而是借助内容的相似性进行排重判别,准确性高,不会由于标题或内容的少许变化而形成漏判,即使把标题进行了改头换面,系统也会正确判断。

　　(7)、军犬“信息采集系统”内置强悍的信息监控

　　可以通过一个关键字广域监控互联网上任何一个站点上的相关信息。也可以通过设置监控频道监控任何站点所采集到富含关键字的信息。对于数值数组可以设置监控误差监控数值出现在一定范围内的信息。信息监控达到字段级。您可以对任何一个采集目标网站设置监控属性，监控周期达到了秒级。对于发生变化的信息可以在短时间内采集到本地

　　强大的站点管理工具可以对所有采集对象进行集中管理和各类操作

　　(8)、军犬“信息采集系统”支持多种编码

　　支持多种网站的信息的编码，GBK、BIG5、UNICODE、UTF8，软件会手动转换成GBK码进行统一的处理。软件即会手动辨识网站的组织结构，自动辨识网站的编码。 表单管理，随心所欲自定义表单，方便采集不同的内容，如采集软件用单独的表单，采集图片用图片表单。

　　(9)、军犬“信息采集系统”信息导出导入随心所欲

　　提供信息导出导入与其它软件可作无缝联接 ，如CRM OA 软件提供有强悍的信息记录导出导入功能，您可以对任何一个频道、一条记录进行导出与导入。可以导成Excel/Access等，也可以直接导到指定的数据库。与《信息发布服务器》结合使用可以将信息发布到任何一个地方。

　　(10)、军犬“信息采集系统“支持阅读模板

　　任何一种信息类型，软件就会手动创建一个阅读模板便捷了您快速阅读；任何信息您可以对任何一种信息表单订制一款漂亮的阅读模板，也可以对任何一个频道设置不同的阅读模板。

　　(11)、军犬“信息采集系统“多页面内容重组

　　对于目标数据源的一篇文章在目标网站上分页显示,系统能手动对其重组.软件运行稳定、采集速度快、占用系统资源少。

　　历经多次改建的软件采集底层模块运行稳定、采集速度快，点用系统资源少。可多线程并发运行，而不占有过多的系统资源。采集速度快到顿时到位。软件完全可以实现7*24小时不间断无人值守的信息采集。更多细节功能有待于您在使用中去体验。

　　(12)、军犬“信息采集系统”其它特性列表：

　　1、支持多种语言:支持简体中文、繁体英文、英文、日文、韩文等多国语言

　　2、支持多种站点类型：包括html与rss

　　3、支持登入、验证后采集

　　4、软件支持须要登陆与须要验证码的网站信息采集，采集过程完全仿人工。

　　5、支持附件采集

　　包括图片附件采集、多媒体附件采集、音视频附件采集、附件与正文手动映射与关联

　　6、完全结构化抽取将网页的非结构化数据抽取成特定的结构化信息数据。

　　网页搜索是以网页为最小单位，基于视觉的网页块剖析是以网页块为最小单位，垂直搜索是以结构化数据为最小单位。然后将这种数据储存到数据库，进行进一步的加工处理，如：去重、分类等，最后动词、索引再以搜索的方法满足用户的需求。

　　整个过程中，数据由非结构化数据抽取成结构化数据，经过深度加工处理后以非结构化的方法和结构化的形式返回给用户。

　　7、数据保存到本地，您可以随时查阅信息。 采集到信息手动保存到本地数据库，您可以随时查阅信息。

　　8、多线层、多任务

　　9、支持海量数据采集

　　10、软件实用、易用、功能强悍

　　11、可移植、可扩充、可定制

　　六、军犬“信息采集系统”配置要求

　　要求：WindowsNT4/ Windows 2000 Server 或更新的操作系统。

　　要求： Microsoft SQL Server 7/ 2000或其它ODBC插口

　　要求：intel xeon 2G 以上CPU，2G 以上RAM，硬盘空间200GB以上

　　七、军犬“信息采集系统”性能

　　l、支持多线程采集。

　　2、单机在数据采集在G级以上。

　　3、数据与数据源同步更新大于10秒级。

　　4、数据同步发布大于10秒级。