在 WordPress 指南中）（如何优化您的 Robots.txt 以优化您的搜索引擎

　　在 WordPress 指南中）（如何优化您的 Robots.txt 以优化您的搜索引擎

　　最近，一位读者问我们如何优化 robots.txt 文件以改进搜索引擎优化。 robots.txt 文件告诉搜索引擎如何抓取你的网站，这使它成为一个强大的搜索引擎优化工具。在本文中，我们将向您展示如何为 SEO 创建完美的 robots.txt 文件。

　　robots.txt 文件是什么？

　　robots.txt 是一个文本文件，网站 所有者可以在其中指示搜索引擎机器人如何抓取和索引 网站。

　　它通常存储在根目录中，也称为您的网站 主文件夹。 robots.txt文件的基本格式如下：

　　

User-agent: [user-agent name]

Disallow: [URL string not to be crawled]

User-agent: [user-agent name]

Allow: [URL string to be crawled]

Sitemap: [URL of your XML Sitemap]

　　您可以使用多行说明来允许或禁止特定网址，以及添加多个站点地图。如果您不禁用某个网址，搜索引擎机器人就会假定它们可以抓取。

　　以下是 robots.txt 示例文件的外观：

　　

User-Agent: *

Allow: /wp-content/uploads/

Disallow: /wp-content/plugins/

Disallow: /wp-admin/

Sitemap: https://example.com/sitemap_index.xml

　　在上面的 robots.txt 示例中，我们允许搜索引擎抓取 WordPress 上传文件夹中的文件并将其编入索引。

　　从那时起，我们将禁止搜索机器人抓取和索引插件以及 WordPress 管理文件夹。

　　最后，我们提供 XML 站点地图的 URL。

　　您的 WordPress网站 需要 robots.txt 吗？

　　如果您没有 robots.txt 文件，搜索引擎仍会抓取您的 网站 并将其编入索引。但是，您无法告诉搜索引擎不应抓取哪些页面或文件夹。

　　第一次写博客，内容不多，影响不大。

　　但是，随着网站 的增长和内容的增长，您可能希望更好地控制网站 的抓取和索引。

　　这就是为什么。

　　搜索机器人对每个网站 都有一个抓取配额。

　　这意味着他们在抓取会话期间抓取了一定数量的页面。如果他们还没有完成网站上的所有网络抓取，那么他们会回来继续下一个会话。

　　这会降低你的网站 索引率。

　　您可以通过禁止搜索机器人尝试抓取您的 WordPress 管理页面、插件文件和主题文件夹以及其他不必要的页面来解决此问题。

　　通过禁止不必要的页面，您可以节省抓取配额，这有助于搜索引擎抓取您网站上的更多页面并尽快将它们编入索引。

　　使用 robots.txt 文件的另一个很好的理由是您希望防止搜索引擎将您的 网站 帖子或页面编入索引。

　　这不是隐藏一般公开内容的最安全方法，但可以帮助您防止它们出现在搜索结果中。

　　理想的 robots.txt 文件应该是什么样的？

　　许多流行的博客使用一个非常简单的robots.txt文件，它们的内容可能会根据特定站点的需要而有所不同：

　　

User-agent: *

Disallow:

Sitemap: http://www.example.com/post-sitemap.xml

Sitemap: http://www.example.com/page-sitemap.xml

　　这个robots.txt 文件允许所有robots 为所有内容编制索引，并为它们提供指向网站XML 站点地图的链接。

　　对于 WordPress 网站，我们建议在 robots.txt 文件中遵循以下规则，

　　

User-Agent: *

Allow: /wp-content/uploads/

Disallow: /wp-content/plugins/

Disallow: /wp-admin/

Disallow: /readme.html

Disallow: /refer/

Sitemap: http://www.example.com/post-sitemap.xml

Sitemap: http://www.example.com/page-sitemap.xml

　　这告诉搜索机器人将所有 WordPress 图像和文件编入索引。它不允许搜索机器人为 WordPress 插件文件、WordPress 管理区域、WordPress 自述文件和附属链接编制索引。

　　通过将站点地图添加到 robots.txt 文件中，您可以轻松地让 Google 机器人找到站点上的所有页面。

　　现在您了解了理想的 robots.txt 文件，让我们来看看如何在 WordPress 中创建 robots.txt 文件。

　　如何在 WordPress 中创建 robots.txt 文件？

　　有两种方法可以在 WordPress 中创建 robots.txt 文件。您可以选择最适合您的方法。

　　方法一：使用Yoast SEO编辑robots.txt文件

　　如果您使用 Yoast SEO 插件，那么它带有一个 robots.txt 文件*敏*感*词*。

　　您可以使用它直接从 WordPress 管理区域创建和编辑 robots.txt 文件。

　　只需进入WordPress管理中的SEO工具页面，然后点击文件编辑器链接即可。

　　

　　在下一页上，Yoast SEO 页面将显示您现有的 robots.txt 文件。

　　如果您没有 robots.txt 文件，Yoast SEO 将为您生成一个 robots.txt 文件。

　　

　　默认情况下，SEO文件*敏*感*词*的Yoast robots.txt会在robots.txt文件中添加以下规则：

　　

User-agent: *

Disallow: /

　　删除此文本很重要，因为它会阻止所有搜索引擎爬上您的网站。

　　删除默认文本后，您可以继续添加自己的robots.txt规则。我们建议使用上面分享的理想 robots.txt 格式。

　　完成后，不要忘记单击“保存 robots.txt 文件”按钮以保存更改。

　　方法2.手动使用FTP编辑robots.txt文件

　　对于这种方法，您需要使用 FTP 客户端来编辑 robots.txt 文件。

　　只需使用 FTP 客户端连接到您的 WordPress 托管帐户。

　　进入后可以看到网站文件夹根目录下的robots.txt文件。

　　

　　如果您没有看到它，那么您可能没有 robots.txt 文件，因此您可以继续创建一个。

　　

　　robots.txt 是纯文本文件，这意味着它可以使用任何普通的文本编辑器（例如记事本或 TextEdit）下载到计算机上。

　　保存更改后，您可以将其上传到网站文件夹的根目录。

　　如何测试 robots.txt 文件？

　　创建 robots.txt 文件后，最好使用 robots.txt 测试工具对其进行测试。

　　robots.txt 测试工具很多，但我们建议您使用 Google Search Console 中的工具。

　　只需登录您的 Google 搜索控制台帐户，然后切换到旧的 Google 搜索控制台网站。

　　

　　这会将您带到旧的 Google 搜索控制台界面，从这里您需要启动位于“爬网”菜单下的 robots.txt 测试工具。

　　

　　该工具将自动获取您的网站 文件的 robots.txt 并在找到时突出显示错误和警告。

　　最后的想法

　　优化robots.txt文件的目的是防止搜索引擎抓取不公开的页面，例如WordPress插件文件夹中的页面或管理文件夹中的页面。

　　SEO 专家普遍认为，阻止 WordPress 类别、标签和存档页面将提高抓取速度，并导致更快的索引编制和更高的排名。

　　这不是真的，而且它也反对 Google 的网站Administrator 指南。

　　我们建议您以上述 robots.txt 格式为您的 网站 创建一个 robots.txt 文件。