搜索引擎禁止的方式优化网站( robots.txt阻止对网站建立索引，你知道吗？)

　　搜索引擎禁止的方式优化网站(

robots.txt阻止对网站建立索引，你知道吗？)

　　阻止搜索引擎索引的正确方法

　　我们之前说过 robots.txt 不会阻止搜索引擎对 网站 进行索引，但我们很惊讶仍然有人只使用 robots.txt 文件来阻止他们的 网站被百度或360索引。结果，他们的网站仍然出现在搜索引擎中。你知道它为什么让我们吃惊吗？因为 robots.txt 实际上并没有阻止 网站 被索引。让我们解释一下它是如何在这个 文章 中工作的。

　　被索引和在搜索引擎中列出是有区别的

　　在我们进一步解释之前，我们需要先在这里仔细阅读一些术语：

　　因此，虽然最常见的过程是从索引到列出，但没有必要索引 网站 来进行列表。如果链接指向页面、域或任何地方，搜索引擎会跟随该链接。如果该域上的 robots.txt 阻止搜索引擎将该页面编入索引，如果可以从其他可能值得研究的变量中采集到该 URL，它仍会在结果中显示该 URL。

　　如果您有理由阻止 网站 编制索引，那么将请求添加到您要阻止的特定页面是正确的方法。但是你需要告诉搜索引擎那个元机器人标签。因此，如果您想有效地从搜索引擎中隐藏页面，您需要它们来索引这些页面。甚至这似乎是矛盾的。有两种方法可以做到这一点。

　　通过添加元机器人标签阻止您的页面列表

　　阻止您的页面列表的第一个选项是使用机器人元标记。基本上，您可以将此标签添加到您的页面：

　　或通过添加 X-Robots-Tag HTTP 标头

　　为了使向 网站 的每个页面添加元机器人标签的过程更容易，搜索引擎提出了 X-Robots-Tag HTTP 标头。通过这种方式，您可以指定 HTTP 标头 X-Robots-Tag 并将值设置为元机器人标签值。很酷的一点是，您可以在整个 网站 上执行此操作。如果您的站点在 Apache 上运行并且启用了 mod_headers（通常是这样），您可以将以下单行添加到您的 .htaccess 文件中：

　　标题集 X-Robots-Tag “noindex, nofollow”

　　这将产生整个 网站 被索引的效果，但永远不会出现在搜索结果中。

　　因此，不要仅仅使用 robots.txt 文件来阻止搜索引擎对 网站 进行索引，而是使用 X-Robots-Tag 或那个元机器人标签！

　　网站优化必须集中在5个方面

　　了解 SEO 专家如何进行 SEO

　　相关文章