网站内容采集系统(本文：信息采集系统的设计的思路和说明实现过程)

　　网站内容采集系统(本文：信息采集系统的设计的思路和说明实现过程)

　　[摘要] 探讨利用.Net技术和数据库技术设计Web网站信息采集系统，并以某人才网站招聘信息采集为一个例子来说明实现过程。提出基于Web的信息采集系统的设计方案，并使用. 网络技术和数据库技术，实现采集和特定网站信息的处理。

　　[关键词]信息检索WEB技术

　　CLC 编号：TP3 *敏*感*词*识别码：A 文章 编号：1671－7597 (2008）1120081－01

　　随着WWW的发展，搜索引擎提供的搜索和导航服务已经成为Internet上非常重要的网络服务。它的特点是可以帮助我们快速找到想要的网站或信息。本文讨论了利用.Net技术和数据库技术设计了一个采集Web网站信息系统，并以人才网站招聘信息的采集为举例说明实现过程。

　　一、信息采集系统设计

　　(一）采集系统设计思路

　　首先要采集指定网站的信息，要了解信息是如何浏览的，并记录对应的访问路径。网站大部分都是用动态web技术（ASP、PHP等）构建的，通过参数传递检索数据库，并输出相应的信息。

　　其次，采集获取的信息必须保存在本地数据库中。需要对几个目标网站上的信息进行对比分析，得到统一的数据模型，并设计相应的数据表，以方便未来来自不同网站采集来源的信息统一和结构化。

　　第三，考虑到网站可能会执行多次采集，需要避免在自己的数据库中存储重复信息，同时重复处理已有信息也会减少采集@ > 系统工作效率。因此，在记录每条信息的同时，可以记录对应的URL或相关ID，以方便验证链接是否被访问过。

　　(二）相关技术