搜索引擎禁止的方式优化网站( 建议搜索引擎不索引本站点是什么意思？(图))

　　搜索引擎禁止的方式优化网站(

建议搜索引擎不索引本站点是什么意思？(图))

　　

　　您可能已经注意到 WordPress 后端中有一个设置，上面写着“不建议搜索引擎将此站点编入索引”。

　　或者，您可能正在寻找一种方法来向不受欢迎的访问者隐藏您的 网站，并想知道这个小复选框是否足以保证您的内容安全和保密。

　　这个选项是什么意思？它对你的 网站 做了什么？为什么要避免依赖它——即使你试图隐藏你的内容？以下是对您的 网站 取消索引并阻止访问某些页面的答案和其他一些方法。

　　建议搜索引擎不要将此站点编入索引是什么意思？

　　您有没有想过搜索引擎如何索引您的 网站 并衡量您的搜索引擎优化？他们使用称为蜘蛛（也称为机器人或爬虫）的自动化程序来完成此任务。蜘蛛“爬行”网络，访问 网站 并记录您的所有内容。

　　Google 使用它们来确定如何在搜索结果中对您的 网站 进行排名和放置，从您的 文章 中获取搜索结果页面的介绍，并将您的图片拉入 Google 图片。

　　当您选中“建议搜索引擎不要将此站点编入索引”时，WordPress 将修改您的 robots.txt 文件（此文件为蜘蛛提供有关如何抓取您的站点的说明）。它还可以在您的 网站 标题中添加元标记，以告诉 Google 和其他搜索引擎不要将您整个 网站 上的任何内容编入索引。

　　这里关键词是“劝阻”：搜索引擎没有义务满足这个要求，尤其是那些不使用谷歌使用的标准robots.txt语法的搜索引擎（可以使用Lightning提供的蜘蛛爬虫查询工具博客查看哪些爬虫符合或不符合机器人协议）。

　　网络爬虫仍然可以找到您的站点，但正确配置的爬虫会读取您的 robots.txt 并离开而不将内容编入索引或在其搜索结果中显示。

　　过去，WordPress 中的此选项并没有阻止 Google 在搜索结果中显示您的 网站，它只是将其内容编入索引。您仍然可以看到您的网页出现在搜索结果中并出现错误，例如“此网页上没有可用信息”或“由于网站的robots.txt，此结果的描述不可用” .

　　尽管 Google 不会索引页面，但它们不会完全隐藏页面。这种异常导致人们能够访问他们不应该看到的页面。多亏了WordPress 5.3，现在可以正常使用了，屏蔽了网站的索引和列表。

　　您可以想象如果您不小心启用它，这将如何破坏您的 SEO。仅当您真的不希望任何人看到您的内容时才使用此选项很重要——即使如此，它也可能不是您想要采取的唯一措施。

　　为什么你可能不想索引你的 网站

　　网站 是给人看的。你想让用户阅读你的文章，购买你的产品，消费你的内容——你为什么要故意屏蔽搜索引擎？您可能想要隐藏部分或全部 网站 的原因有多种。

　　其中一些有更好的解决方案——使用合适的离线开发服务器，将你的文章设置为私有，或者将它们放在密码后面——但你可能想取消部分或全部站点的索引是有道理的。

　　如何检查您的 网站 是否对搜索引擎开放

　　尽管您可能有正当理由取消对 网站 的索引，但您可能会惊讶地发现您不小心打开或打开了此设置。如果您的流量为零，并且您怀疑您的网站没有被索引，请通过以下方法确认。

　　一个简单的方法是选中位于管理仪表板主屏幕上的“概览”框。只需登录到您的后端并选中该框。如果您看到“自动建议搜索引擎不要抓取”，则说明您已激活此设置。

　　

　　WordPress 仪表板中的“概览”。

　　更可靠的方法是检查您的 robots.txt。您可以在浏览器中轻松验证这一点，甚至无需登录您的网站。要检查robots.txt，您需要做的就是将/robots.txt 添加到站点URL 的末尾。例如：

　　如果您看到 Disallow: /，则禁止将您的整个站点编入索引。

　　

　　robots.txt 中的“禁止”

　　如果您看到 Disallow: 后跟 URL 路径，例如 Disallow: /wp-admin/，则表示任何带有 /wp-admin/ 路径的 URL 都不允许被搜索引擎索引。这种结构对于某些页面来说是正常的，但是，例如，如果它阻止收录您要索引的页面的 /blog/，则可能会导致问题！

　　由于 WordPress 使用元标记而不是 robots.txt 来对您的 网站 进行去索引，因此您还应该检查您的标题是否已被修改。登录到您的后端并转到外观> 主题编辑器。找到 Theme Header (header.php) 并查找以下代码：

　　< meta name = 'robots' content = 'noindex,nofollow' />

　　

　　header.php 中的 noindex、nofollow

　　也可以查看functions.php中的noindex标签，因为代码可以通过这个文件远程插入到header中。如果您在主题文件中找到此代码，则表示您的 网站 没有被 Google 索引。但是不要手动删除它，而是先尝试关闭原创设置。

　　如何阻止搜索引擎索引 WordPress网站

　　如果您想跳过额外的步骤并直接进入原创设置，这里是如何激活或停用 WordPress 中的“禁止搜索引擎”选项。

　　登录您的 WordPress 仪表板并导航至设置 &gt; 阅读。查找标有“搜索引擎可见性”的“建议搜索引擎不要将此站点编入索引”复选框。

　　

　　搜索引擎可见性复选框

　　如果您发现它已经打开并希望您的 网站 被索引，请取消选中它。如果您打算阻止您的 网站 被索引，请检查它（并在某处写*敏*感*词*释以提醒您稍后关闭它！）。

　　现在单击“保存更改”，您就可以开始了。重新索引您的 网站 或将其从搜索结果中提取可能需要一些时间。

　　如果您的 网站 仍然被取消索引，您也可以不使用索引代码，或者手动编辑 robots.txt 去除“禁止”标记。

　　所以这很简单，但是您应该避免使用此选项或至少不完全依赖它的一些原因是什么？

　　使用建议的搜索引擎不索引此站点选项的缺点

　　看起来很简单——勾选一个复选框，没有人会看到你的网站。这还不够好吗？为什么我应该避免单独使用此选项？

　　当您启用此设置或任何类似选项时，它所做的只是在您的标题或 robots.txt 中添加一个标签。由于旧版 WordPress 仍然允许您的 网站 出现在搜索结果中，因此故障或其他错误可能会导致人们看到您所谓的隐藏页面。

　　此外，这完全取决于搜索引擎是否接受您的请求。主要的搜索引擎如谷歌和必应通常都会这样做，但并非所有搜索引擎都使用相同的robots.txt语法，并且并非所有爬行网络的蜘蛛都是由搜索引擎发布的。

　　例如，一种利用网络爬虫的服务是 Wayback Machine。如果您的内容被此类服务编入索引，它将始终在网络上。

　　

　　回归机器

　　您可能会认为，仅仅因为您的全新 网站 没有指向它的链接，它就可以免受蜘蛛的侵害，但事实并非如此。存在于共享服务器上，发送带有链接到您的 网站 的电子邮件，甚至在浏览器（尤其是 Chrome）中访问您的 网站 都可能打开您的 网站 直到它被抓取。

　　如果你想隐藏内容，那么添加参数不是一个好主意，希望它会成功。

　　让我们明确一点，如果您要取消索引的内容是敏感的或个人的，您永远不应该依赖 robots.txt 或元标记来隐藏它。

　　最后但并非最不重要的一点是，此选项将在搜索引擎中完全隐藏您的 网站，并且很多时候您只想取消对某些页面的索引。

　　那么你应该怎么做来替换或使用这种方法呢？

　　其他禁止搜索引擎索引的方法

　　尽管 WordPress 提供的选项通常会起作用，但在某些情况下，使用其他隐藏内容的方法通常会更好。甚至谷歌自己也说不要使用 robots.txt 来隐藏页面。

　　只要您的 网站 有域名并且位于面向公众的服务器上，就不能保证您的内容不会被爬虫看到或编入索引，除非您将其删除或将其隐藏在密码或登录名后面要求 。

　　换句话说，有没有更好的方法来隐藏您的 网站 或某些页面？

　　使用 .htaccess 阻止搜索引擎

　　尽管它的实现在功能上与简单地使用“阻止搜索引擎”选项相同，但您可能希望手动使用 .htaccess 来防止对您的 网站 进行索引。

　　您需要使用 FTP/SFTP 程序来访问您的站点并打开 .htaccess 文件，该文件通常位于根文件夹（打开站点时您看到的第一个文件夹）或 public_html 中。将此代码添加到文件中并保存：

　　Header set X-Robots-Tag "noindex, nofollow"

　　注意：此方法仅适用于 Apache 服务器。NGINX服务器，您需要将此代码添加到.conf文件中，该文件可以在/etc/nginx/中找到（您可以在此处找到元标记实现的示例）：

　　add_header X-Robots-Tag "noindex, nofollow";

　　密码保护敏感页面

　　如果您不希望搜索引擎索引某些 文章 或页面，隐藏它们的最佳方法是使用密码保护您的站点。这样，只有您和您想要的用户才能看到内容。

　　幸运的是，此功能内置于 WordPress 中，因此无需安装任何插件。只需到 文章 页面，然后单击要隐藏的页面即可。编辑您的页面并查找右侧的可见性菜单。

　　如果您不使用古腾堡，过程是类似的。您可以在“发布”框中找到相同的菜单。将可见性更改为受密码保护并输入密码，然后保存 - 您的内容现在对公众隐藏。

　　

　　将 文章 设置为密码保护

　　如果你想密码保护整个网站怎么办？要求每个页面都有密码是不切实际的。

　　您可以使用内容限制插件（例如密码保护）。请安装并激活它，然后转到设置&gt;密码保护并启用密码保护状态。这使您可以更好地控制，甚至允许您将某些 IP 地址列入白名单。

　　

　　将 文章 设置为密码保护

　　通过 WordPress 插件

　　当WordPress的默认功能不够用时，一个好的插件通常可以解决你的问题。

　　例如，如果您想取消索引特定页面而不是整个站点，Yoast 可以使用此选项。

　　在Yoast SEO中，您可以打开要隐藏的页面，然后在“高级”选项卡下找到选项：允许搜索引擎在搜索结果中显示此帖子？将其更改为否，该页面将被隐藏。

　　

　　Yoast SEO 设置

　　您应该注意，这两种方法都依赖与 WordPress 的默认选项相同的方法来防止搜索引擎编制索引，并且具有相同的缺陷。某些搜索引擎可能无法满足您的要求。如果你真的想完全隐藏这个内容，你需要使用其他方法。

　　另一种解决方案是为您的内容付费或将其隐藏在所需的登录名后面。Simple Membership 或 Ultimate Member 插件可以帮助您设置免费或付费的会员内容。

　　

　　简单的会员插件

　　使用临时站点进行测试

　　在处理测试项目或正在进行的 网站 时，将它们隐藏的最佳选择是使用临时站点或开发站点。这些 网站 是私有的，通常托管在本地机器上，只有您和您允许的其他人才能访问。

　　许多网络主机将为您提供易于部署的临时站点，并允许您在准备好时将它们推送到您的公共服务器。

　　如果您无法访问创建临时站点的简单方法，WP STAGING 插件可以帮助您复制安装并将其移动到一个文件夹中以便于访问。

　　使用 Google Search Console 暂时隐藏 网站

　　Google Search Console 是一项允许您声明 网站 所有权的服务。随之而来的是暂时阻止谷歌索引某些页面的能力。这种方法有几个问题：它是谷歌独有的（所以网站像Bing不会受到影响）并且只能持续6个月。

　　但是，如果您想要一种快速简便的方法来暂时从 Google 搜索结果中删除您的内容，这就是这样做的方法。

　　如果您还没有，则需要将您的 网站 添加到 Google Search Console。完成后，打开 Removals 并选择 Temporary Removals &gt; New Request。然后单击仅删除此 URL 并链接要隐藏的页面。

　　这是一种更可靠的内容屏蔽方式，但同样，它仅适用于 Google，并且只能持续 6 个月。

　　概括

　　您可能希望隐藏站点上的内容的原因有很多，但依靠“建议搜索引擎不要将此站点编入索引”选项并不是确保此类内容不会被看到的最佳方法。

　　除非你想在网络上隐藏你的整个网站，否则千万不要点击这个选项，因为如果你不小心切换，会对你的SEO造成巨大的伤害。

　　即使你真的想隐藏你的网站，这个默认选项也是一种不可靠的方法。它应该与密码保护或其他阻止配对，尤其是在处理敏感内容时。