网络信息采集软件ppt

　　淮安信息学院信管系网路信息采集技术《网络信息采集》 课件淮安信息学院信管系网路信息采集概述网路信息采集的原则p1 4全面性： 尽可能多的信息针对性： 准确性、 价值性时效性： 最新、 有效选择性： 网站信誉及稳定性、 采集方法多、 保质量兼数目全程性： 持续补充， 长期积累淮安信息学院信管系网路信息采集概述网路信息采集的特征p1 4采集对象多元化采集方式多样化采集手段现代化淮安信息学院信管系网路信息采集概述网路信息采集的标准p1 5内容标准方式标准淮安信息学院信管系网路信息采集概述网路信息采集的途径人工采集采集器手动抓取订制信息(推送(Push)技术 ):推送技术是一种信息发布技术,意指网路公司通过一定的技术标准或合同,从网上的信息源或信息制用商获取信息,通过固定的频道向用户发送信息的新型的信息传播系统。Push技术采用一种广播的*敏*感*词*的推送软件产品(如PointCast公司的PointCastNetwork) ， 可拿来制做欲推送出去的信息内容， 并播送出去。 在客户端则借助安装在个人笔记本中的软件，来接收从网路上传来的信息， 并显示下来。

　　 当有新的信息须要递交时， “推送” 软件会以发送E-mail、 播放一个声音、 在屏幕上显示一条消息等形式通知用户。 使用Push技术， 可以提升用户 获取信息的及时性和效率。受到IT界的广泛注意， 许多知名 的公司都在推出自 己的“推送” 技术新产品， 如PointCast公司的PointCast、 Wayfarer公司的Incisa 、 加利福尼亚州InCommon公司的Downtown等。 还有包括IBM、 Novell及Microsoft等在内的许多公司都跃跃欲试。淮安信息学院信管系“推送” 的优缺点主要优点1. 对用户要求低——普遍适用于广大公众， 不要求用户有专门的技术;2. 及时性好， 信源及时地向用户推送不断更新的动态信息。不足(1) 不能确保发送成功 由于Push技术采用广播的形式， 当网路信息中心发送信息时， 只有*敏*感*词*打开并刚好切换到同一频道上， 传输能够发生作用， 用户能够获取信息。 这对于这些要确保能收到信息的应用领域是不适宜的。(2) 没有信息状态跟踪 Push技术采用的是“开环控制” 模式。 一个信息发布之后的状态， 如顾客是否收， 收到后是否按信息的提示执行了任务等这种“反馈信息” 发布者无从得悉。

　　(3) 针对性差 推送的信息内容缺少针对性， 不便满足用户的个性要求。有价值的重要信息， 通常是要针对一些特定的群组来发送的， 即只献给相关人士。 Push技术不能满足上述需求。(4) 信源任务重 信源系统要主动地、 快速地、 不断地将大量信息推送给用户。淮安信息学院信管系网路信息采集概述网路信息采集的策略p1 7淮安信息学院信管系网路信息采集 软件淮安信息学院信管系网路信息采集大师(NetGet) 7.5《网络信息采集大师》 功能特色：1. 强大的信息采集功能。 可采集几乎任何类型的网站信息， 包括静态htm, html类型和动态ASP, ASPX, JSP等。 可N级页面关联采集， 自 动整合成一条完整记录。 支持网页框架, 链接和网页加密等。 支持完整采集和增量采集（ 断点续采） 。 支持Post数据恳求。2. 网站登录。 需要登入能够看见的信息， 先在任务的‘登录设置’ 处进行登陆, 就可采集登录后才会看见的信息。3. 速度快, 运行稳定。 真正的多线程， 多任务， 运行时占用 系统资源甚少， 可稳定地长时间运行。 (明显区别于其他软件) 4. 数据保存格式丰富。 可把采集的数据， 保存为Txt, Excel和多种数据库格式(Access sqlserver Oracle Mysql等) 。

　　5. 支持脚本。可设置脚本类型的任务, 类似javascript: submit(‘Page’ , 1) 等格式的可轻松采集。6. 强大的新闻采集， 自 动化处理功能。 可自 动保留新闻的格式， 包括图片等（ 可通过设置自 动清除广告） 。 可通过设置， 自 动下载图片 ， 自 动把正文里图片的网路路径改为本地文件路径（ 也可保留原貌） ； 可把采集的新闻自 动处理成自 己设计的模板格式； 可采集具有分页方式的新闻。过这种功能， 简单设置后即可在本地构建一个强悍的新闻系统， 无需人工干预。通淮安信息学院信管系7. 强大的信息自 动再加工功能。 对采集的信息， 可进行二次批量再加工， 使之愈加符合您的实际要求。 也可设置自 动加工公式， 在采集的过程中， 按照公式自 动加工处理， 包括数据合并和数据替换等。8. 提供从采集， 到自 动加工， 到数据导入（ 发布） *敏*感*词*自 动化功能。 通过任务调度实现， 实时检测和发布。 指定个别任务自 动运行， 把采集的数据自 动除去重复然后导出数据库(可指定组合惟一项) 。 可循环往复运行。 可指定某任务在某个时间点运行。 可设置采集一定数据量后， 自 动保存入库， 自 动清空显存。

　　 此功能可在占用系统资源甚少的情况下， 连续不间断地采集十万级和百万级数据。9. 可自 动下载二进制文件， 比如图片, 软件, mp3等。10. 采集本地c盘信息。 使用‘列表类型’ 的任务， 可像采集网络上的信息一样， 采集本地c盘上的信息。11. 通过发布页面， 把采集的数据发布到网站数据库。 即用群发数据的形式， 模拟人工递交数据。12. 无人值守采集。高工作效率, 又可最大限度节省能源。启动任务后, 可自 行采集, 自 动保存进数据库, 采集完毕后自 动死机。 既可提13. 支持数据插口 ， 可自 己对软件进行二次开发， 对采集的数据进行任意加工处理。淮安信息学院信管系试用版数据采集量和数据导入有部份限制； 任务调度功能不可用； 新闻采集会随机加密部份内容（可保存出1 0条） 。注册后这种限制将清除。 正式版在1 2个月 内的任何升级都是免费的， 之后每次升级按注册费的20%缴纳*敏*感*词*。 不升级软件照样可用， 不用付费。淮安信息学院信管系淮安信息学院信管系淮安信息学院信管系1 网络信息资源采集的特征及原则是哪些？3网路信息资源采集的途径与策略有什么？思考题