搜索引擎如何抓取网页(哪些网页才能被保存到搜索引擎的服务器上呢?(图))

　　搜索引擎如何抓取网页(哪些网页才能被保存到搜索引擎的服务器上呢?(图))

　　先说一下搜索引擎的原理。搜索引擎将 Internet 上的网页内容存储在自己的服务器上。当用户搜索一个词时，搜索引擎会在自己的服务器上找到相关内容。也就是说，只有存储在搜索引擎服务器上的内容 网页才会被搜索到。哪些网页可以保存在搜索引擎的服务器上？只有搜索引擎的网络爬虫程序抓取到的网页才会保存在搜索引擎的服务器上。这个网络爬虫程序是搜索引擎的蜘蛛。整个过程分为Crawl和crawl。

　　一、 蜘蛛

　　搜索引擎用来抓取和访问 网站 页面的程序称为蜘蛛或机器人。蜘蛛访问浏览器就像我们通常上网一样。蜘蛛也会申请访问，获得许可后才能浏览。但是，为了提高质量和速度，搜索引擎会让很多蜘蛛一起爬行爬行。

　　蜘蛛访问任何网站时，都会先访问网站根目录下的robots.txt文件。如果robots.txt文件禁止搜索引擎抓取某些文件或目录，蜘蛛将遵守协议，不会抓取被禁止的网址。

　　与浏览器一样，搜索引擎蜘蛛也有用于标识自己的代理名称。站长可以在日志文件中看到搜索引擎的具体代理名称来识别搜索引擎蜘蛛。

　　二、 追踪链接

　　为了在网络上抓取尽可能多的页面，搜索引擎蜘蛛会跟随页面上的链接从一个页面爬到下一个页面，就像蜘蛛在蜘蛛网上爬行一样。

　　整个互联网是由相互关联的网站和页面组成的。当然，由于网站和页面链接的结构极其复杂，蜘蛛需要采用一定的爬取策略来遍历互联网上的所有页面。

　　最简单的爬取策略是：深度优先和广度优先。

　　1、 深层链接

　　深度优先是指当蜘蛛找到一个链接时，它会沿着链接所指出的路径向前爬行，直到前面没有更多的链接，然后返回第一页，然后继续链接走一路爬过去。

　　2、 广度链接

　　从seo的角度来说，链接广度优先是指当一个蜘蛛在一个页面上发现多个链接时，它不会一路跟随一个链接，而是爬取页面上所有的一级链接，然后跟随第一个链接. 在二级页面找到的链接爬到三级页面。

　　理论上，无论是深度优先还是广度优先，只要给蜘蛛足够的时间，它们就可以爬取整个互联网。在实际工作中，没有什么是无限的，蜘蛛的带宽资源和蜘蛛的时间也是有限的，不可能爬满所有页面。事实上，最大的搜索引擎只是爬取和收录互联网的一小部分。

　　3.吸引蜘蛛

　　Spider-style 不可能抓取所有页面，它只抓取重要页面，那么哪些页面被认为更重要？有以下几点：

　　（1) 网站 和页面权重

　　(2) 页面更新率

　　(3) 导入链接