搜索引擎最重要的是什么？对着三段工作流程进行大体上的讲解与综述

　　搜索引擎最重要的是什么？对着三段工作流程进行大体上的讲解与综述

　　白帽seo搜索引擎工作的基本流程和原理 一个搜索引擎最重要的是什么？有人会说是查询结果的准确性，也有人会说是查询结果的丰富程度，但其实这些都不是搜索引擎最致命的方面。对于搜索引擎来说，最致命的是查询时间。想象一下，如果你在百度界面查询一个关键词，你的查询结果需要5分钟的时间反馈给你，结果一定是你迅速放弃百度。为了满足搜索引擎对速度的苛刻要求（商业搜索引擎的查询时间单位都在微秒量级），所以采用了缓存支持查询需求的方法，即我们查询时得到的结果和搜索不是及时的，而是已经缓存在其服务器上的结果。那么搜索引擎工作的一般流程是怎样的呢？我们可以将其理解为三个阶段。本文只是对三阶段工作流的一般解释和概述，一些详细的技术细节将与其他文章分开解释。 一.网集网集其实就是大家常说的蜘蛛爬取网页。所以对于蜘蛛（谷歌称之为机器人），他们感兴趣的页面分为三类：1.蜘蛛从来没有爬过新的页面。一个被2.蜘蛛爬过的页面，但是页面内容发生了变化。 3. Spider 已抓取，但现在已删除该页面。那么如何有效地查找和爬取这三类页面是蜘蛛编程的初衷和目的。

　　所以这里有个问题，蜘蛛爬行的起点。只要你的网站没有被每个站长严重降级，你就可以通过网站后台服务器发现勤劳的蜘蛛光顾你的网站，但是你有没有从编写程序的角度考虑过？话说，蜘蛛是怎么来的？对此，各方各有看法。有一种说法，蜘蛛从*敏*感*词*站（或高权重站）爬行，从高权重到低权重逐层爬行。另一种说法是，在 URL 集合中没有明显的蜘蛛爬行顺序。搜索引擎会根据你网站内容更新的规律，自动计算什么时候是抓取你网站的最佳时机，然后再抓取。拿。事实上，对于不同的搜索引擎，它们的抓取点肯定会有所不同。对于百度，笔者更倾向于后者。在百度官方博客发表的文章《一种索引页面链接完成机制的方法》中，明确指出蜘蛛会尝试检测网页的发布周期，并以合理的频率检查网页。由此我们可以推断，在百度的索引库中，对于每一个URL集合，都会计算出一个合适的爬取时间和一系列参数，然后爬取对应的站点。在这里，我想说明一下，对于百度来说，网站的价值不是蜘蛛爬过的页面的价值。比如site:****.com，得到的值不是大家常说的百度收录值。如需查询具体的百度收录量，请在百度提供的站长工具中查询索引号。

　　什么是网站？以后我会在文章 给你解释。那么蜘蛛是如何发现新链接的呢？它依赖于超链接。我们可以将所有 Internet 视为定向集合的集合。蜘蛛开始沿着网页中的超链接从初始 URL 集合 A 中发现新页面。在这个过程中，每找到一个新的URL，就会和A集合中已有的URL进行比较，如果是新的URL，则添加到A集合中，如果已经在A集合中，则将丢弃。蜘蛛遍历和爬取站点的策略有两种，一种是深度优先，一种是广度优先。但是如果是百度这样的商业搜索引擎，它的遍历策略可能是更复杂的规则，比如域名本身的权重系数，百度自己的服务器矩阵的分布。 二.Preprocessing 预处理是搜索引擎中最复杂的部分。基本上，大多数排序算法在预处理阶段生效。然后，在预处理步骤中，搜索引擎主要对数据执行以下步骤：1.Extract关键词蜘蛛抓取的页面与我们在浏览器中查看的源代码是一样的，代码通常是杂乱无章，其中还有很多与页面主要内容无关。因此，搜索引擎需要做三件事： 1. 代码去噪。删除网页中的所有代码，只留下文本。去掉文本关键词。例如页面导航栏的关键词以及不同页面共享的其他公共区域。

　　删除停用词。停用词是没有特定含义的词。例如，当一个搜索引擎得到这个网页的关键词时，它会使用自己的分词系统将文本分成一个分词列表，然后存储在数据库中，并与这个文本结合起来。 URL 之间一一对应。让我用一个例子来说明。如果蜘蛛抓取到的页面的URL是****.com/2.html，而搜索引擎在这个页面上进行上述操作后提取的关键词的集合是关键词p1,p2， ... , pn 组成，那么在百度数据库中，它们之间是一一对应的关系，如下图所示。 2. 消除重复和转载网页。每个搜索引擎都有不同的识别重复页面的算法，但作者认为，如果将重复数据删除算法理解为由100个元素组成，那么所有搜索引擎可能都有80个元素。这是完全一样的。其他20个元素是根据不同搜索引擎对seo的态度，专门设置了相应的策略。本文只对搜索引擎的大致流程做一个初步的讲解，对具体的数学模型不多做解释。 3.重要信息分析 在代码去噪的过程中，搜索引擎并不是简单的去除，而是充分利用了网页代码（如标签、强标签）、关键词密度、内链锚文本等方式分析此页面中最重要的短语。 4.网页重要性分析通过网页的外链锚文本传递的权重值确定该网页的权重值，并结合上述重要信息分析建立该网页的关键词集p每个关键词有一个排名系统5.倒排文件。如上所述，用户在查询的时候得到的查询结果并不及时，而是一般排列在搜索引擎的缓存区。当然，搜索引擎不会知道用户会查询什么关键词，但是他可以构建一个关键词词库，在处理用户的查询请求时，会根据词库对请求进行切分。

　　这样，搜索引擎就可以在用户生成查询行为之前，计算出每个关键词其在词库中的URL排名，大大节省了处理查询的时间。简单来说，搜索引擎用一个控制器来控制蜘蛛爬行，然后用原数据库保存设置的URL，再用索引器控制每个关键词和URL的对应关系，保存在数据库中的Index中本文由zhengzhou网站construction提供，欢迎转载，但请保留网站source，谢谢