搜索引擎禁止的方式优化网站(谷歌将谈论控制搜索引擎爬虫，阻止机器人，在我们想要的地方发送机器人)

　　搜索引擎禁止的方式优化网站(谷歌将谈论控制搜索引擎爬虫，阻止机器人，在我们想要的地方发送机器人)

　　在本文中，我们将讨论控制搜索引擎爬虫、阻止机器人、将机器人发送到我们想要的地方以及将它们限制在我们不希望它们去的地方。这在谷歌优化中还是很重要的。我们将讨论抓取预算以及您应该和不应该搜索引擎来推广索引内容的内容。

　　首先，我想讨论的是如何控制机器人。其中包括三个主要的：robots.txt、meta robots，nofollow标签在控制robots方面稍逊一筹。

　　我们还将讨论一些其他内容，包括网站网站管理员工具（搜索控制台）和网址状态代码。但让我们先深入研究前几个。

　　Robots.txt 位于 /robots.txt。它告诉爬虫他们应该和不应该访问哪些内容。谷歌和必应并不总是尊重它。很多人说，“嘿，这不允许这样做”，然后你突然看到这些网址弹出，你想知道发生了什么，似乎——谷歌和必应经常认为他们只是知道得更好。他们认为也许你搞错了，他们认为“嘿，这个内容有很多链接，很多人都在访问和关心这个内容，也许你不打算让我们阻止它。” 您对单个 URL 了解得越具体，他们通常会尊重它越好。特定级别越低，您使用的通配符就越多，或“整个大目录背后的一切”，