网页视频抓取工具 56( 搜索引擎网络节点（）搜索结果的相关性和理论适用)

　　网页视频抓取工具 56(

搜索引擎网络节点（）搜索结果的相关性和理论适用)

　　

　　在第 1 章中，我们说过搜索引擎是一个问答机器，从某种意义上说，它发现、理解、存储和组织 Internet 上的内容，并为用户提供基于相关性的内容排名。搜索。

　　搜索结果的相关性，即搜索结果是否满足用户的意图，是衡量搜索引擎质量的最重要指标。

　　简单来说，就是“用户可以搜索自己想要的东西”。

　　因为每个人的知识背景不同，即使是同样的关键词搜索，每个人的意图（必答）也不一定相同。满足全球用户的愿望并非易事。

　　毫无疑问，它是目前世界上最好的搜索引擎。人们为什么要改用它，因为它可以更好地搜索我们需要的答案。

　　换句话说，更好地了解用户。

　　下面的文章是基于搜索引擎的，其基本原理和理论同样适用于Bing等其他搜索引擎。

　　一、搜索引擎是如何工作的？爬取：不断搜索整个互联网，根据 URL 爬取 网站 内容和代码。索引：存储和组织大量抓取的网络内容。网站被爬取后进入索引过程。编入索引后，您可以在相关搜索结果中看到 网站 内容。排名：根据用户的搜索词从存储的网页中查找相关内容，并将网站的部分片段展示给用户。网站越符合用户的搜索意图，排名越高。搜索引擎如何抓取网页？

　　搜索引擎机器人（也称为“蜘蛛”）不断在 .

　　内容可以是网页、视频、PDF 文件，无论格式如何，最终都会作为 URL 链接被发现。

　　

　　蜘蛛从一个网络节点（URL）开始，爬取该节点的内容，找到该节点中的其他URL节点，然后继续向下爬取这些节点，直到爬取整个互联网上的URL。

　　这里很重要的一点是，你的网页网址必须出现在其他已经被蜘蛛爬过的网页中，否则蜘蛛将无法找到你。

　　其他网站中指向我们网站的链接称为外部链接。搜索引擎蜘蛛不仅依靠外部链接来抓取我们的网页内容，而且还根据外部链接的数量及其来源的可靠性来判断我们网页的质量。

　　当然你也可以设置网站不被蜘蛛抓取，或者只允许蜘蛛抓取部分内容。

　　什么是索引？

　　搜索引擎拥有大量的数据库系统，抓取到的网页会进入数据库系统并按照一定的规则进行排序存储。这个过程就是索引。

　　什么是搜索引擎排名？

　　当用户输入关键词进行搜索时，搜索引擎从索引库中检索出相关内容，然后按照自己的算法进行排序，排列出最相关的内容，满足用户的查询需求。性别是排名。

　　二、如何确保我的页面被搜索引擎搜索到收录？

　　在搜索引擎中输入“site:”，如果返回结果中有你的网站内容，则说明网站已经被索引。

　　

　　在返回的结果中，有一行显示有多少个结果。这个数据是索引数据库中关于这个网站的所有网页的数量。结果不一定准确，可以作为参考。

　　如果您需要更准确的索引号，可以使用免费工具网站管理员工具 ( ) 查看。

　　

　　如果您的 网站 没有出现在搜索结果中，可能是由于以下原因：

　　蜘蛛机器人足够聪明，但它仍然无法理解你的 网站 上哪些页面是重要的，哪些是过时的，哪些页面不需要索引（比如隐私声明等），所以有必要告诉我们这个信息，网站@网站中与蜘蛛机器人打交道的语言有以下两个文件：

　　. 文本文件

　　一般位于网站的根目录下，该文件会由常用的SEO插件如SEO、All in one SEO、Rank Math等自动生成。

　　

　　该文件具有三个功能：

　　如果你的 网站 没有这个文件，它会默认抓取所有可用的 URL。如果有这个文件，蜘蛛就会按照这个文件的规范进行爬取。

　　该文件只是一个软约束，并非所有搜索引擎都会遵循此规则，恶意电子邮件地址搜索引擎也不会。

　　另外，如果是网站，请确保设置中的“搜索引擎不索引此网站”选项没有勾选。

　　

　　抓取预算是多少？

　　蜘蛛再强大，所能采集的网络资源也是有限的。尽管我们已经指定了允许抓取站点范围内的内容的规则，但情况并非总是如此。

　　它收录多少内容取决于许多因素，例如它对您的内容的重视程度，它的年龄等。最终可以被搜索引擎索引的数据量是蜘蛛对我们的抓取预算网站 .

　　如何优先考虑收录重要内容？

　　由于抓取预算有限，为了优先处理我们认为重要的内容，请确保以下内容：

　　内容没有隐藏在登录界面后面，没有办法爬取需要登录才能看到的内容。虽然它变得越来越智能，但它并不能保证图像和视频中的文本内容可以被完全索引。如果网页内容是图片、视频等多媒体格式，最好同时添加文字。清晰的内部导航结构。没有指向它的内部链接的网页在蜘蛛看来就像它不存在一样。这里所说的链接不仅是网页头部的导航，也是页面之间的链接关系。

　　

　　使用站点地图。顾名思义，站点地图是 网站 上的 URL 列表，它告诉搜索蜘蛛 网站 有哪些页面。该文件可以手动编辑，当然也可以由 SEO 插件自动生成。

　　

　　有关站点地图规范，请参阅站点地图帮助文档三、搜索引擎如何对结果进行排名？

　　搜索引擎如何确保用户查询某个关键词并得到他们想要的答案？

　　

　　答案是相关性。

　　如何判断一个网页与某个关键词的相关性？

　　答案是排序算法（ ）。

　　排序算法是核心资产。在外人看来，排序算法是一个黑盒子。我们无法知道里面是什么，我们只能从外面观察它。

　　而且算法是不断变化的，甚至每天都在变化。详情可以查看Moz统计的核心算法更新记录：2000年以来的所有重大更新都记录在这里。

　　花太多时间研究的算法是不可取的，并且不会主动泄露有关算法更新的信息。我们能够找到的算法信息是基于 SEO 行业人士的经验。

　　无论算法如何变化，它的方向都保持不变，提高搜索结果的质量并尽快满足客户的意图。

　　我们努力的方向应该与之保持一致，以满足客户的意图。

　　那么哪些页面最有可能满足客户的意图呢？

　　1、链接链接

　　在上一篇文章文章中，我们提到如果一个页面没有被外部网页链接，那么它就不能被搜索引擎蜘蛛看到，也不能被索引。因此，链接在搜索引擎中起着非常关键的作用。

　　链接不仅决定了一个网页能否被索引，链接的数量和质量也是搜索引擎衡量网页排名的重要标准。

　　有两种类型的链接：

　　外部链接：顾名思义就是外部网站的链接地址介绍我们的网站，内部链接就是我们网站介绍的不同页面的链接地址在内部相互。

　　外部链接类似于现实社会中的口碑。如果大家都说某家餐厅的菜好吃，尤其是权威人士或机构也说这家餐厅好吃，那我们基本可以判断这家餐厅的菜不错（虽然可能不正确，但它在现实世界中有效）。

　　一个内链就等于说你餐厅的菜好吃，权威会少很多。

　　切换到 网站。如果你有很多权限网站链接到你的网站，这意味着你的网站有很好的声誉。搜索引擎还根据口碑确定页面排名。

　　链接权重

　　除了链接的数量之外，还有权重的衡量标准。权重相当于现实世界的可信度。咖啡专家不如葡萄酒专家可信。

　　有一个衡量链接权重的专有名词，是创始人佩奇发明的。页面内容越相关，网站越权威，链接权重越高。

　　有关链接的更多详细信息，请参阅： 。

　　我们如何才能让其他人链接到我们的 网站？

　　一个 网站 不可能无缘无故地引入另一个 网站 的链接。就像在现实世界中一样，如果我们不知道某家餐厅，我们不会无缘无故地说它好。某个行业的人越有权威，就越不可能随便。公众评价。

　　对于一个 网站 被其他 网站 引用，尤其是那些具有高权限的 网站，高质量的内容是必不可少的部分。

　　2、内容

　　搜索引擎问答机返回的答案来自它抓取的网页内容，而不是它自己存储的答案。

　　换句话说，您在 Facebook 上寻找问题，它只会告诉您哪个页面最有可能回答您的问题。

　　每个用户查询都有数千个可能的结果。搜索引擎如何知道哪个页面最有可能满足用户的查询？

　　如上所述，搜索引擎会根据用户的意图以及使用的关键字与页面内容的匹配程度来做出判断。

　　如何计算匹配，哪些页面与关键字或用户意图最匹配？关键字适当出现了多少次？页面内容多长时间？

　　这些问题没有标准答案，或者除了你自己以外的任何人都不可能完全理解它们。

　　听到这里，你可能会感到非常难过……作为一个SEO从业者，这个行业没有硬性标准。

　　别担心，我们不知道排序算法和相关算法是如何工作的，但我们知道它是如何工作的。

　　全球SEO从业者通过逆向工程不断调整各种网页参数，观察搜索结果的排名规则，总结数百个影响排名的因素。发现三个关键因素没有改变：

　　反向链接网页内容（符合搜索者意图的优质内容）3、

　　是核心算法中的机器学习组件。机器学习实际上是一个计算机程序。该程序与普通程序的不同之处在于，它会根据当前的成绩和表现不断调整下一个排名结果。因此，我们看到的搜索结果是不断变化的，每次搜索都可能看到不同的结果。

　　例如：如果排名较低的页面获得用户更多的关注，它可能会在以下搜索结果中排名第一。这行得通。

　　

　　同样，它是如何工作的，我们无法知道，即使是最老练的工程师也不知道。

　　4、参与指标

　　另一个越来越重要的指标是参与度，即用户在网页上交互的方式，主要体现在：

　　4、其他排名因素

　　以上四点只是SEO行业从业者总结的最可能影响排名的因素。MOZ 进行了一项调查，以采集可能影响搜索引擎排名的因素。有关详细信息，请参阅： 。