搜索引擎禁止的方式优化网站(禁止搜索引擎对网页建立索引您的页面被搜索引擎索引最有效)

　　搜索引擎禁止的方式优化网站(禁止搜索引擎对网页建立索引您的页面被搜索引擎索引最有效)

　　仍然有人只是使用 robots.txt 文件来防止他们的 网站 被 Google 或 Bing 索引。结果，他们的 网站 仍然出现在搜索引擎中。你知道为什么会出现这个结果吗？因为 robots.txt 实际上并没有执行后者，即使它确实阻止了页面被索引。让我在这个文章 中解释如何防止页面被搜索引擎索引？

　　如何阻止页面被搜索引擎索引

　　指数

　　将 网站 或页面的内容下载到搜索引擎的服务器，然后将其添加到其“索引”的过程。

　　排名/列表/显示

　　在搜索结果页面（又名 SERP）中显示 网站。

　　因此，虽然最常见的过程是从索引到搜索引擎排名，但 网站 不会在没有被搜索的情况下排名。如果链接指向页面、域名或任何地方，Google 将跟踪该链接。如果该域上的 robots.txt 阻止某个页面被搜索引擎索引，如果它可以通过其他页面被搜索引擎发现甚至索引，它可能仍会出现在搜索引擎中。

　　如果您真的想完全阻止搜索引擎索引页面，则将请求添加到您要阻止的特定页面。有两种方法：

　　1. 添加元机器人标签以禁止页面索引

　　防止您的网页被搜索引擎索引的最有效方法是使用 robots 元标记。将以下标记添加到您的页面：

　　2. 添加 X-Robots-Tag HTTP 标头

　　为了使向 网站 的每个页面添加元机器人标签的过程更容易，搜索引擎提出了 X-Robots-Tag HTTP 标头。通过这种方式，您可以指定 HTTP 标头 X-Robots-Tag 并将值设置为元机器人标签值。如果您的站点在 Apache 上运行并且启用了 mod_headers（通常是这样），您可以将以下单行添加到您的 .htaccess 文件中：

　　Header set X-Robots-Tag "noindex, nofollow"

　　这将防止您的页面被搜索引擎索引，并且永远不会出现在搜索结果中。

　　如何防止网页被搜索引擎收录？本文提供的两种解决方案你学会了吗？