seo优化搜索引擎工作原理(搜索引擎的工作大体上阶段度、Google、Yahoo)

　　seo优化搜索引擎工作原理(搜索引擎的工作大体上阶段度、Google、Yahoo)

　　目前人们所说的搜索引擎通常是指全文搜索引擎。比较知名的全文搜索引擎包括百度、谷歌和雅虎。他们都通过自己的程序从互联网上各类网站中获取信息，将网页保存在自己的数据库中，经过一系列处理后建立自己的全文索引数据库。当用户查询时，从数据库中取出符合用户查询条件的记录，最后将这些记录按一定的顺序返回给用户。

　　搜索引擎的工作一般分为三个阶段：

　　-5-

　　用于排名程序调用。

　　爬行和爬行

　　搜索引擎用来抓取和访问页面的程序称为蜘蛛，也称为bot。蜘蛛访问 网站 页面类似于使用浏览器的普通用户。蜘蛛程序向服务器发送页面访问请求后返回HTML代码，蜘蛛程序将接收到的代码存储在原创页面数据库中。为了提高爬取和爬取的速度，搜索引擎使用多个蜘蛛并发分布爬取。当蜘蛛访问任意一个网站时，首先会访问网站根目录下的robots,txt文件。如果该文件禁止搜索引擎抓取某些文件或目录，则蜘蛛将遵守协议，不会抓取禁止的 URL 可用。

　　为了在互联网上爬取更多的网页，搜索引擎蜘蛛会跟随网页上的链接，从一个页面爬到下一个页面。整个互联网是由链接的网站和页面组成的，蜘蛛在爬行时需要采取一定的策略。最简单的爬取策略分为两种，一种是深度优先，一种是广度优先。所谓深度优先，就是蜘蛛沿着找到的链接爬行，直到前面没有其他链接，然后返回第一页，再沿着另一个链接爬行。广度优先是指当蜘蛛在一个页面上发现多个链接时，它不会一路跟随一个链接，而是爬取页面上第一级的所有链接，然后沿着第二级页面的链接进行爬取。第三页。

　　理论上，无论是广度优先还是深度优先，只要有足够的时间，蜘蛛都可以爬取整个互联网。在实际工作中，蜘蛛的带宽资源和时间都不是无限的，不可能爬取所有页面。蜘蛛只爬行和收录 Internet 的一小部分。深度优先和广度优先通常混合使用，以便处理尽可能多的 网站（广度优先），以及深度内容页面（深度优先）。

　　SE0的人只想想办法网站更多的页面是收录，也就是怎么吸引蜘蛛？由于蜘蛛无法爬取所有页面，所以它们会尝试爬取重要的页面，你认为哪些页面更重要？主要受以下因素影响。

　　网站 和页面权重。高质量、老式的网站s被认为具有更高的权重，这样的网站s上的页面会被爬得更高的深度，所以更多的页面会被收录。

　　页面更新。蜘蛛每次抓取时都会保存页面数据。如果第二次爬取发现页面和第一次收录一模一样，说明该网页还没有更新，蜘蛛不需要频繁爬取。

　　-6 –

　　导入链接。无论是外部链接还是同一个网站的内部链接，为了被蜘蛛爬取，必须有传入链接才能进入页面，否则蜘蛛没有机会知道页面。

　　到首页的点击距离。一般来说，网站在首页的权重较高，大部分外部链接指向首页，首页也是蜘蛛访问频率最高的。大。

　　为了避免重复爬取和爬取网址，搜索引擎会建立一个地址数据库来记录已找到但未爬取的页面，以及已爬取的页面。搜索引擎爬取的页面会存储在页面数据库中，每一个爬取的页面文件都有一个唯一的文件编号。蜘蛛在爬取和爬取页面时，也会在一定程度上进行内容重复检测。网站 很可能在大量内容被转载或抄袭时停止爬取。