整洁的一键采集资源(2学习内容1.网络信息采集技术的发展(组图))

　　整洁的一键采集资源(2学习内容1.网络信息采集技术的发展(组图))

　　2 网络信息采集 技术介绍

　　学习内容

　　1.网络信息采集概览

　　2.网络信息采集技术发展

　　3.网络信息采集 软件介绍

　　培训内容

　　网络信息采集 软件使用

　　学习目标

　　掌握：网络信息资源采集的质量标准、途径和策略，网络检索自动化技术的发展，常用网络信息采集软件的使用。

　　理解：网络信息采集的特点和原理，网络检索多媒体技术的应用，检索工具的智能化发展。

　　了解：网络信息采集系统应用前景，常见网络信息采集软件种类。

　　2.1 网络信息采集概览

　　网络信息采集是指从互联网共享服务资源中采集、处理和分析网络实体信息的过程。网络信息采集不仅包括互联网公共实体信息的查询和存储，还包括信息的分类、提取和分析，更重要的是在采集到的信息的基础上分析数据，并利用分析结果解决实际问题。2.1.1 网络信息资源原理采集

　　网络资源众多且复杂。为避免网络信息资源采集的随机性、无计划性和盲目性，采集网络资源必须严格执行统一的采集标准，主要包括以下原则：

　　第二章网络信息采集技术介绍

　　全面性原则：全面性原则是对采集网络信息覆盖的要求。对于您想要采集的某些方面的信息，要采集尽可能全面，并确保采集到尽可能多的信息。

　　针对性原则：是指根据用户的实际需求，有目的地、有针对性、有针对性、有选择地获取具有重大使用价值和满足需求的信息。针对性原则可以提高信息的准确性和价值采集。

　　及时性原则：及时采集最新有效信息，定期更新原创信息资源，使信息保持最新。这样既保证了资源的有效保存，又保证了信息资源的高质量。

　　选择性原则：采集时，首先要选择信息来源，重点使用网站信誉度高、稳定性强的信息。其次，必须选择资源采集所使用的方法，应用不同信息采集的方法得到的信息往往是不同的。你要善于利用各种渠道进行信息采集工作。第三，将采集的信息质量放在首位，在保证质量的同时兼顾数量。

　　全过程原则：信息采集是全过程的连续工作。信息资源必须不断补充才能长期积累。只有这样，才能反映这些资源的历史、发展状况、特点和规律，才能保证所采集的资源具有更高的利用价值。

　　2.1.2 网络信息资源的特点采集

　　网络信息资源采集的特点主要表现在采集对象的多样化、采集方法的多样化、采集方法的现代化。

　　1. 采集多元化的对象

　　传统的文档信息资源采集主要是以纸张为载体的印刷文档，采集的种类单一。网络环境下，各种名称的电子文档和在线文档层出不穷，文档信息资源的种类呈现多元化发展趋势。采集 类型的文档信息资源不仅包括传统的印刷文档。（如各类纸质图书、期刊、报纸等），还包括各类电子文档（如电子书、电子报纸、计算机软件等）和各类在线信息资源（即，基于数据库和网络，通过系统或互联网提供给用户的在线文档信息）。

　　2. 采集方式多样化

　　传统文献信息资源采集主要是根据需求，向出版社或书商订购或直接到书店选书，采集相对简单。但是，在网络环境下，由于信息存储、传输和复制的变化，文献信息资源的发布和分发渠道变得更加复杂多样。人们除了订购、购买、交换和接受之外，还使用采集 文档信息资源。除了传统的送礼方式外，还有入网、在线使用、出租、免费获取等方式。采集 方法呈现多元化趋势。

　　3. 采集现代手段

　　传统的文档信息资源采集主要是通过手工操作进行的。程序复杂繁琐，不仅耗费大量时间，而且容易出错。网络环境下的文献信息资源采集实现了现代化、电子化、网络化。具有先进的计算机技术，可从事查重、印单、统计、验收等工作。它不仅快速、高效，而且不容易出错。此外，现代采集工具不仅提高了工作的质量和效率，还节省了采集人员的时间和精力，让他们有足够的精力去理解、掌握和研究文献和信息资源。

　　2.1.3 网络信息资源质量标准采集

　　严格的资源采集标准是信息资源可靠性的关键保证之一。网络信息资源的质量可以从内容和形式两个方面进行评价。

　　1. 内容标准

　　内容标准主要包括权威性、实用性、准确性、有效性、独特性、全面性等。

　　权威性：信息发布者为学术权威或有影响力的学术机构，专业的网站评价机构对其评价结果较好。该资源在该领域具有一定的声誉和学术号召力，并在该领域获得。得到了相当多的专业学者的认可。

　　实用性：广告占比低，信息透露深度，包括其他外部信息的链接，链接列表中的资源有注释。

　　准确性：资源内容基本涵盖资源标题范围，内容客观，信息（包括引文信息）准确可靠，很少或没有语法和拼写错误，转载内容有出处说明，并且链接非常有效。

　　时效性：资源内容反映学科最新发展。内容最近更新，并注明最后更新日期。

　　唯一性：资源中收录的信息基本不为其他网络资源所拥有。网站上的内容以原创信息为主，不转载或链接到其他网站。

　　全面性：资源内容收录尽可能多的领域信息，资源来源多样化。

　　2. 正式标准

　　形式标准主要从三个方面来衡量，即资源的组织利用、资源的访问条件、网站的页面设计。

　　资源的组织利用：包括资源的分类和组织是否科学合理，导航结构是否清晰易用，网站资源是否有搜索引擎供用户搜索，搜索是否引擎允许逻辑计算和搜索结果是否可以按相关性等排序。

　　资源访问条件：资源访问是否方便，对用户的软硬件是否有特殊要求（如安装插件或特殊软件），是否有知识产权限制，是否需要注册才能访问，并且资源是相连的。反应速度是否快。

　　网站的页面设计：用户界面是否友好，页面是否干净、柔和、协调、美观，页面各部分的位置关系和比例是否合适，是否具有准确的网站导航图。

　　2.1.网络信息资源的4种方式与策略采集

　　一、网络信息资源方式采集

　　目前流行的采集技术主要有手动采集、网站系统爬取和定制信息。

　　(1）手册采集

　　手动采集是网络信息采集的常用方式。在当前的互联网世界中，用户接触最多的网络信息以网页的形式存在。此外，电子邮件、FTP、BBS、电子论坛、新闻组也是互联网上获取信息的常用渠道。以学科信息为例，人工获取网络信息的主要方式有：通过学科学科指南或相关领域学科信息门户搜索：学科学科指南一般由学会、大学、研究所、科研院所等学术组织组成。图书馆。机构编制的网络学科资源导航目录。学科学科指南由专业人士处理和组织，

　　第二章网络信息采集技术介绍

　　使用搜索引擎采集信息：搜索引擎是搜索相关信息最常用的工具。使用搜索引擎有两种方式：一种是使用关键词进行搜索，另一种是通过主题分类系统进行搜索。专业的搜索引擎是一种在互联网上查找某种信息的检索工具。专业搜索引擎搜索到的信息具有学术性强、质量高的优点。

　　使用专业网站检索：专业网站是获取相关学科信息的快捷方式，提供与该学科相关的电子出版物、专利、标准、会议、专业数据库等信息。

　　跟踪综合门户相关栏目：很多综合门户开设了一些学科专业栏目，定期更新发布一些重要学科信息，也有很好的参考价值。

　　网站跟踪相关重要国际组织或机构：网站重要国际组织或机构本身就是收录的优质资源，网站的质量越高，给出的相关链接的质量也可能更高。这些链接往往是专业人士选择的，需要纳入跟踪和搜索范围。

　　结识相关学科领域的专家并搜索他们的个人网站：这些网站本身或其中给出的链接列表可能是优质资源。

　　搜索并加入相关领域的重要主题邮件列表：相关领域最重要的主题邮件列表以免费订阅的形式向订阅者发送其更新、公告或出版物，它们也是非常有用的信息来源。

　　上述通过IE浏览器浏览网页、通过Outlook收发邮件、通过FTP服务器下载资料等，都是通过客户端软件手动链接信息源获取信息，这是一本手册采集。这种采集的方法有一个共同点：用户手动输入网址或邮箱地址，这些客户端软件链接到信息源，用户可以从信息源中获取所需的信息。

　　（2）采集器自动爬取（信息采集技术）

　　随着互联网的飞速发展，仅仅依靠人工采集和整理信息已经越来越不能满足实际需要。于是人们开始探索新的获取信息的方式，采集技术和推送技术应运而生。

　　信息采集技术是目前一种时尚的信息获取方式。信息采集技术是用户在某些信息源中设置了某种类型的信息后，采集器会自动定期从这些信息源中检索用户需要的最新信息。这是一个主动的、跟踪的多向合集，结合了定向合集和固定主题合集。它的特点是主动、灵活地获取信息。资料：采集器 自动爬取的优缺点

　　使用采集技术的优点是：①用户可以设置信息来源和需要的信息类型；② 具有信息自动化、本地化、集成化、与时俱进的特点。信息自动化是指用户无需一一去各个信息源获取信息；信息本地化是指用户不必到远程信息源去获取信息，采集器已经在本地采集了用户想要的信息；信息整合转化意味着采集器可以一次性从各种来源采集所有相似的信息；最新信息

　　转化意味着采集器采集的所有信息都是最新信息，用户不再需要在信息源中区分新信息和新旧信息。③采集技术在针对性采集和定题采集、主动采集、跟踪采集等方面相比推送技术具有明显优势。此外，推送技术在个性化方面也无可比拟。但是，采集技术也有它的不足，就是得到的信息都是原创信息，需要进行处理。

　　(3）定制信息(推送技术)

　　虽然在信息处理系统中，信息推送是提供信息服务的一种手段。但从需要获取信息的用户的角度来看，接受信息服务也是一种获取信息的方式。因此，信息推送也是一种信息获取技术。这种方式有点类似于传统的广播，有人称之为“网络广播”。网络公司通过一定的技术标准或协议从网络信息源或信息生产者处获取信息，经处理后，通过固定渠道向用户发送信息。这种方式的特点是用户获取信息比较被动，只能自定义自己的渠道。

　　信息：定制信息的优缺点

　　通过推送技术获取信息的主要优点是：①您可以自定义您需要的信息；②您不必问从哪里获得信息；③接收到的信息是推送服务商从信息源获取的所有经过处理的有效信息。通过推送技术获取信息的缺点是：①用户定制的选项有限；②虽然用户可以暂停或更改想要的服务，但是是被动的和不方便的；③目前大多数推送服务商只推送信息的主题，具体内容需要用户到信息源获取。

　　2. 网络信息资源策略采集

　　网络信息资源采集的策略主要有以下几点：

　　（1）限制采集的深度：从采集的深度考虑，一般情况下，如果用户通过IE浏览器阅读新闻，从首页开始，最多点击三个层层查看到你需要的所有新闻内容，同样的，采集器只需要采集三层就可以得到每个具体的新闻内容，不需要采集更深的层次.

　　（2）限制某些链接：考虑到采集的广度，对于那些大家不感兴趣的链接，可以完全设置不使用这些链接，这样会大大减少采集工作量，从而大大减少过滤的工作量，这是限制采集广度的有力手段。

　　（3）限制搜索跳转：作为专业的搜索引擎，采集的信息资源通常集中在几个固定的首字母