详解搜索引擎工作过程非常复杂，接下来的几节

详解搜索引擎工作过程非常复杂，接下来的几节

　　SEO实用密码搜索引擎的工作原理

　　SEO实战密码搜索引擎工作原理的详细说明

　　搜索引擎的工作过程非常复杂。在接下来的几节中，我们将简要介绍搜索引擎如何实现页面排名。与真正的搜索引擎技术相比，此处介绍的内容只是一个肤浅的内容，但对于SEO人员来说已经足够了。

　　搜索引擎的工作过程大致可以分为三个阶段。

　　（1）爬网和爬网：搜索引擎蜘蛛通过跟踪链接访问网页，并获取页面的HTML代码并将其存储在数据库中。

　　（[2）预处理：索引程序对爬网的页面数据执行文本提取，中文分词，索引和其他处理，以准备要调用的排名程序。

　　（3）排名：用户输入关键词后，排名程序将调用索引库数据，计算相关性，然后以某种格式生成搜索结果页面。

　　一、爬行和爬行

　　爬行和爬行是搜索引擎工作的第一步，完成了数据采集的任务。

　　1。蜘蛛

　　搜索引擎用来抓取和访问页面的程序称为蜘蛛程序，也称为机器人程序。

　　搜索引擎蜘蛛访问网站页面的方式与普通用户使用的浏览器类似。蜘蛛程序发送页面访问请求后，服务器返回HTML代码，并且蜘蛛程序将接收到的代码存储在原创页面数据库中。为了提高抓取和抓取速度，搜索引擎使用多个蜘蛛来同时分发抓取。

　　当蜘蛛访问任何网站时，它将首先访问网站根目录中的robots.txt文件。如果robots.txt文件禁止搜索引擎抓取某些文件或目录，则抓取工具将遵守协议，并且不会抓取禁止的URL。

　　与浏览器一样，搜索引擎蜘蛛也具有标识自己的代理名称。网站管理员可以在日志文件中查看搜索引擎的特定代理名称，以识别搜索引擎蜘蛛。下面列出了常见的搜索引擎蜘蛛的名称：

　　·Baiduspider +（+）百度蜘蛛

　　·Mozilla / 5. 0（兼容； Yahoo！Slurp中国；）Yahoo China蜘蛛

　　·Mozilla / 5. 0（兼容； Yahoo！Slurp / 3. 0;）英语Yahoo spider

　　·Mozilla / 5. 0（兼容； Googlebot / 2. 1; +）Google蜘蛛

　　·msnbot / 1. 1（+）Microsoft Bing Spider

　　·Sogou + web + robot +（+＃0 7） Sogou蜘蛛

　　·Sosospider +（+）搜索蜘蛛

　　·Mozilla / 5. 0（兼容； YodaoBot / 1. 0 ;;）游道蜘蛛

　　2。跟踪链接