搜索引擎禁止的方式优化网站(新万博体育万博体育：关于robots.txt的一些事儿)

　　搜索引擎禁止的方式优化网站(新万博体育万博体育：关于robots.txt的一些事儿)

　　约斯特·德瓦尔克

　　Joost de Valk 是 Yoast 的创始人兼首席产品官。他是一位互联网企业家，曾投资并建议过 yoast 旁边的几家初创公司。他的主要专长是开源软件开发和数字营销。

　　我们已经回到过去，但我们会重复一遍：令我们惊讶的是，只有人们只使用 robots.txt 文件，该文件会阻止他们的 网站 在 Google 或 Bing 中被索引。所以他们的 网站 无论如何都会出现在搜索引擎中。你知道它为什么让我们吃惊吗？因为 robots.txt 实际上并没有执行后者，即使它确实阻止了对站点的索引。让我解释一下它在这个 文章 中是如何工作的。

　　要了解有关 robots.txt 的更多信息，请阅读终极指南。或者，找到在 WordPress 中处理 robots.txt 的最佳实践。

　　被编入索引和在 Google 上列出是有区别的

　　在我们进一步解释之前，我们需要在这里回顾一些术语：

　　因此，虽然最常见的过程是从索引到列出，但 网站 不需要被索引才能被列出。如果链接指向某个页面、域或任何地方，Google 将跟踪该链接。如果该域上的 robots.txt 阻止搜索引擎将该页面编入索引，如果它可以从其他变量中采集到值得查看的内容，它仍会在结果中显示该 URL。

　　过去，这可能是 DMOZ 或 Yahoo 目录，但我可以想象 Google 会使用您最近的业务详细信息或这些项目的旧数据。更多网站总结你的网站，是的。

　　现在，如果上述解释没有意义，请看一下前 Google 员工 Matt Cutts 在 2009 年的视频解释：

　　如果您有理由阻止对 网站 的索引，则像马特所说的那样，向您要阻止的特定页面添加请求仍然是正确的方法。

　　但是您需要通知 Google Meta robots 标签。因此，如果您想有效地从搜索引擎中隐藏页面，您可能需要它们来索引这些页面。虽然这可能看起来自相矛盾。有两种方法。

　　您会定期提醒遵循 robotstxt 的抓取工具如果不允许抓取该页面，则不会在该页面上看到 noindex 指令。

　　因为这是答案@/98NLF2twz1

　　——Gary Khali/경리 Badly（@methode），2021 年 3 月 25 日

　　通过添加元机器人标签来阻止您的页面列表

　　阻止页面被列出的第一个选项是使用 robots 元标记。我们有一个更广泛的 bot 元标记的终极指南，但基本上归结为将此标记添加到页面：

　　如果您使用 Yoast SEO，那就超级简单！无需自己添加代码。在此处了解如何使用 Yoast SEO 添加 noindex 标记。

　　但是，类似标记的问题是您必须将其添加到每个页面。

　　在 Yoast SEO 中或通过添加 X-Robots-Tag HTTP 标头简化了机器人元标记管理

　　为了使向网站的每个页面添加元机器人标签的过程稍微容易一些，搜索引擎提出了 X-Robots-Tag HTTP 标头。这允许您指定一个名为 X-Robots-Tag 的 HTTP 标头，并将该值设置为与元机器人标签值相同的值。很酷的是，您可以对整个 网站 执行此操作。如果您的站点在 Apache 上运行，并且启用了 mod_headers（通常是这样），您可以将以下行添加到您的 .htaccess 文件中：

　　标题集 X-Robots-Tag "noindex, nofollow"

　　这将对整个 网站 能够被索引产生影响。但从来没有出现在搜索结果中。

　　因此，删除收录 disallow :/ 的 robots.txt 文件。请改用 x-robots 标签或 meta-robot 标签！