搜索引擎禁止的方式优化网站( robots.txt阻止对网站建立索引，你知道吗？)

　　搜索引擎禁止的方式优化网站(

robots.txt阻止对网站建立索引，你知道吗？)

　　防止搜索引擎以正确的方式编入索引

　　我们已经说过robots.txt不能阻止搜索引擎索引网站，但我们很惊讶还有人只使用robots.txt文件来阻止他们的网站被百度或360索引结果，他们的网站仍然出现在搜索引擎中。你知道为什么它让我们感到惊讶吗？因为 robots.txt 实际上并没有阻止 网站 的索引。让我们在这个 文章 中解释它是如何工作的。

　　被索引和在搜索引擎中列出是有区别的

　　在我们进一步解释之前，我们需要仔细阅读这里的一些术语：

　　因此，虽然最常见的过程是从索引到列表，但您可以在不索引网站的情况下进行列表。如果链接指向页面、域或任何地方，搜索引擎将跟随链接。如果域上的 robots.txt 阻止搜索引擎索引页面，但如果它可以从其他可能值得调查的变量中采集，它仍会在结果中显示 URL。

　　如果您有理由阻止网站 索引，那么将请求添加到要阻止的特定页面是正确的方法。但是您需要将元机器人标签信息告知搜索引擎。因此，如果您想有效地对搜索引擎隐藏页面，您需要它们为这些页面编制索引。即使这似乎是矛盾的。有两种方法可以做到这一点。

　　通过添加元机器人标签阻止您的页面列表

　　阻止您的页面列表的第一个选项是使用机器人元标记。您基本上可以将此标签添加到您的页面：

　　或者通过添加 X-Robots-Tag HTTP 标头

　　为了让网站的每个页面添加meta robots标签的过程更容易，搜索引擎提出了X-Robots-Tag HTTP header。通过这种方式，您可以指定 HTTP 标头 X-Robots-Tag，并像元机器人标记值一样设置该值。很酷的一点是你可以在 网站 上做这一切。如果您的站点在 Apache 上运行并且 mod_headers 已启用（通常已启用），您可以将以下单行添加到 .htaccess 文件中：

　　标题集 X-Robots-Tag "noindex, nofollow"

　　并且这会产生整个网站 可以被索引的效果，但是永远不会显示在搜索结果中。

　　因此，避免只使用robots.txt文件以防止搜索引擎索引网站，请改用X-Robots-Tag或meta robots标签！

　　网站优化必须注意的5个方面

　　了解 SEO 专家如何进行 SEO

　　相关文章