掌握搜索引擎工作原理的重要程度不亚于上面提到的问题

掌握搜索引擎工作原理的重要程度不亚于上面提到的问题

　　搜索引擎如何工作

　　如果您仅熟悉搜索引擎，但不了解它们的工作原理，那么您实际上并不了解搜索引擎。掌握搜索引擎工作原理相关内容的重要性同上述问题同样重要。

　　搜索引擎远非简单，如下图所示。每个搜索结果都需要经历以下三个过程：从生成网页到由搜索引擎向计算机用户显示，对网页的内容进行爬网和建立索引，进行搜索和排名以及评估网页的内容。这些过程将在下面分别介绍。

　　爬行和建立索引

　　搜索引擎的爬网和索引编制就像我们选择食物一样。例如，如果您想吃海鲜，则需要将捕获的海鲜用于消费，这可以理解为爬行。其次，每个人都会选择不同的海鲜，这需要用户选择。为了便于选择，提取了一些关键词，即索引。同样，搜索引擎在完成一系列爬网和索引编制任务的过程中也需要完成类似的任务。但是，其爬网的执行程序是一个称为“蜘蛛”的程序。不要上当，这个“蜘蛛”不是另一个蜘蛛。下面介绍搜索引擎蜘蛛及其相关内容。

　　什么是搜索引擎蜘蛛

　　关于搜索引擎蜘蛛，我们需要通过几个概念来理解它。

　　首先，搜索引擎蜘蛛可以归为一种程序，它是搜索引擎的自动应用程序。该程序的形式是通过在蜘蛛编织网络之后模拟爬网和遍历爬网来开发的。其次，通过搜索引擎系统的计算，确定应爬网的网站以及爬网的内容和频率。搜索引擎的计算过程将参考某个网站的历史表现，例如内容是否足够高，是否存在对用户不友好的设置（例如，使用“欺骗”手段来转移用户到其他页面），以及是否存在过度的搜索引擎优化行为等。爬网和爬网是搜索引擎工作的第一步，它从真正意义上完成了数据采集的任务。

　　接下来，了解爬网和遍历爬网。爬网是搜索引擎的行为，遍历爬网是搜索引擎的爬网方法。通过遍历和爬行，可以实现蜘蛛在网络上遍历的目的。

　　2.流程：抓取和编制索引

　　我们需要步行或乘汽车去目的地。同样，蜘蛛从一个网站到另一个网站爬行。如果您想了解蜘蛛，可以通过代码找到它。该方法是在日志文件中搜索单词“ spider”。如果发现以下内容，则表示蜘蛛正在网站中爬行。

　　⑴Google蜘蛛：googlebot。 ⑵百度蜘蛛：baiduspider。 ⑶雅虎蜘蛛：:饮。 ⑷soso蜘蛛：sosospider。 ⑸msnspider：msnbot。 ⑹有道蜘蛛：YodaoBot和OutfoxBot。 ⑺臭蜘蛛：臭蜘蛛。

　　了解下面的索引。它和抓取之间的最大区别是索引不是特定的URL，而是页面中的许多URL。如果Spider抓取的网页内容重复，则不会被重复索引。

　　3.如何抓取

　　蜘蛛会先对内容进行爬网，然后根据所爬网的内容对其进行索引。这就是蜘蛛工作的意义。 网站更新后，生成了新内容。此时，搜索引擎蜘蛛将通过Internet上的页面链接进行访问和爬网。如果未在网站中将任何外部链接设置为指向新内容，则爬网程序将不会进行爬网过程。因此，及时更新网站的内容并拥有更广泛的外部链接非常重要。将所有这些信息爬到搜索引擎的服务器上，然后构建索引库。例如，我们可以将搜索引擎蜘蛛视为用户，该用户访问我们的网站，然后将我们的网站的内容保存在他的计算机上！下图显示了蜘蛛爬行的流程图。

　　搜索和排名

　　在检索和排序阶段，需要完成过滤和索引工作。具体内容包括以下几个方面。

　　1.过滤

　　如果所谓的蜘蛛爬行是“用网捕鱼”，那么接下来我们要做的就是对我们捕获的鱼进行分类，因为网中的鱼不一定都是可食用的鱼。也可能是废渣（例如一些明显具有欺骗性的网页，无效链接，空白内容页面等），这是另一个巨大的项目。实际上，对于搜索引擎而言，其过滤工作是处理由搜索引擎蜘蛛爬回的网页。我们可以将其视为类似的“过滤器网络”。

　　2.创建索引

　　所谓的索引编制是搜索引擎将标签添加到标签标题，元描述，外部链接和网页描述以及爬网记录的行为。在此过程中，网页中的关键词信息也将被识别和存储。这样做的目的是匹配用户可以搜索的内容。

　　3.输出结果

　　搜索引擎分析用户输入的关键词，参考结果，并在索引结果中找到用户所需的网页。然后，以某种方式显示用户所需的内容是搜索引擎最终要花费大量时间的目的。下图显示的内容是使用百度搜索引擎搜索“计算机”一词后得到的结果。

　　评估网页内容

　　放置在Internet上的网站要求高质量的网页才能被更多的用户查看。哪种网页被搜索引擎认为良好，而用户认为良好？搜索引擎和用户对于评估网页具有各自的标准。在下面分别介绍。

　　1.搜索引擎评估Web内容

　　搜索引擎对网页的内容赋予不同的权重。但是，如果要获得较高的权重，则内容的质量必须经受住搜索引擎爬网过程中的分析，最后，搜索引擎将决定是否赋予页面较高的权重。在分析页面内容时，搜索引擎将考虑以下方面。

　　⑴页面内容和查询之间的语义关系是否匹配？

　　用户在进行查询时将输入关键词，搜索引擎将使用输入的内容来确定该内容是否可以出现在用户的查询结果中。搜索引擎通过分析页面中的单词和短语来掌握页面的内容，并建立它们之间的关系，从而掌握页面内容是否与用户查询相关。

　　⑵通过判断内容的价值

　　搜索引擎用来搜寻页面的蜘蛛将忽略代码中的许多内容，但是蜘蛛最感兴趣的是代码中的文本内容。因此，页面的文本部分更易于搜索引擎使用。下图显示了该网页的源代码。与其他代码相比，蜘蛛对框架选择的文本更感兴趣。

　　2.用户评估Web内容

　　用户将根据搜索结果是否可以帮助找到所需信息来评估网页的内容。以下各节总结了用户的评估标准。

　　⑴相关性

　　相关性是指网页的内容与用户的搜索相匹配。例如，用户想知道如何发音单词“ threshold”，搜索引擎将通过搜索给出搜索结果。如左下图和右下图所示，它们都是用户可以获得的结果，但是很明显，右下图的相关性不如左下图的高。

　　⑵有效期

　　有效性是指内容应有效地帮助用户。例如，通过搜索软件，可以下载并安装软件。 Internet上的用户经常使用此任务。但是，在搜索过程中，您是否可以找到可供下载的安全软件资源？用户可能会经常遇到单击输入网站，然后需要注册才能执行操作的事情。

　　或者，用户想要下载软件，但需要付费。这些服务器具有权限限制，需要检查资源是否可以有效地实现下载结果，但不能真正满足用户的需求。

　　3全面性

　　全面性是指内容应尽可能全面。例如，当用户搜索某个新闻事件时，单个页面通常无法满足用户的需求，因为新闻事件无法以全面的方式发布。这时，如果采用主题的形式，则可以提高页面的质量并使内容更丰富。

　　⑷及时

　　及时性意味着网页的内容应该是最新且最快的。例如，如果用户搜索“招聘”信息，然后用户获得一个月或一年前发布的信息，或者已经超过招聘期限的信息，则此类内容等同于无用的信息。因此，内容的及时性非常重要。

　　⑸权威

　　权威性是指网页的内容由相关专家或网站发布，这可能会使用户感到与众不同。例如，这也是一个新闻事件。在大型网站，例如上的新闻发布，以及在个人博客上的新闻发布，前者更具权威性。

　　⑹便利

　　便利性是指用户浏览网页内容所花费的时间和成本越少，便越方便。例如，对于相同的内容，一个网页可以由用户在第一个屏幕上浏览，而另一个网页需要由用户单击或在另一个位置查看。用户一定会选择可以直接查看的内容。