搜索引擎如何抓取网页( 互联网信息爆发式增长，如何有效的获取并利用这些信息)

　　搜索引擎如何抓取网页(

互联网信息爆发式增长，如何有效的获取并利用这些信息)

　　随着互联网信息的爆炸式增长，如何有效地获取和使用这些信息是搜索引擎工作的首要环节。数据采集​​系统作为整个搜索系统的上游，主要负责互联网信息的采集、保存和更新。它像蜘蛛一样在网络中爬行，所以通常被称为“蜘蛛”。比如我们常用的几种常见的搜索引擎蜘蛛叫做：Baiduspdier、Googlebot、SogouWebSpider等。

　　蜘蛛抓取系统是搜索引擎数据来源的重要保障。如果把网理解为一个有向图，那么蜘蛛的工作过程可以看作是对这个有向图的一次遍历。从一些重要的*敏*感*词*网址开始，通过页面上的超链接，不断地发现和抓取新的网址，尽可能多地抓取有价值的网页。对于像百度这样的大型蜘蛛系统，由于随时都有网页被修改、删除或出现新的超链接的可能，所以需要更新以前蜘蛛爬过的页面，维护一个网址库和页面库。

　　1、蜘蛛爬取系统基本框架

　　以下是蜘蛛爬取系统的基本框架图，包括链接存储系统、链接选择系统、dns分析服务系统、爬取调度系统、网页分析系统、链接提取系统、链接分析系统、网页存储系统.

　　2、蜘蛛爬取过程中涉及的网络协议

　　搜索引擎和资源提供者之间存在相互依赖的关系。搜索引擎需要站长为其提供资源，否则搜索引擎将无法满足用户的检索需求；而站长需要通过搜索引擎推广自己的内容，以获得更多的信息。许多观众。蜘蛛爬取系统直接涉及到互联网资源提供者的利益。为了让搜索引擎和站长实现双赢，双方在抓取过程中必须遵守一定的规定，以方便双方的数据处理和对接。在这个过程中遵循的规范就是我们在日常生活中所说的一些网络协议。以下是一个简要列表：

　　http协议：超文本传输​​协议，是互联网上使用最广泛的网络协议，客户端和服务器请求和响应的标准。客户端一般指最终用户，服务器指网站。最终用户通过浏览器、蜘蛛等方式向服务器的指定端口发送http请求，发送http请求会返回相应的httpheader信息，可以查看是否成功、服务器类型、最后更新时间网页的。