抓取预算是一个重要的SEO概念，往往被忽视

抓取预算是一个重要的SEO概念，往往被忽视

　　抓取预算是一个重要的 SEO 概念，但经常被忽视。

　　任务太多，发帖的SEO专家一定要记住，它往往被置于次要位置。

　　简而言之，您可以而且应该优化您的抓取预算。

　　在本文中，您将了解：

　　什么是抓取预算

　　所以，对于我们这些已经在思考/担心/出汗太多的人，我们甚至忘记了抓取预算意味着什么，这里有一个快速回顾。

　　抓取预算只是搜索引擎抓取工具（即蜘蛛和机器人）跨域页面的频率。

　　频率被概念化为在 Googlebot 试图不让您的服务器过度拥挤与 Google 想要从整体上抓取您的域之间的临时平衡。

　　获取预算优化只是您可以专门用来提高搜索引擎机器人访问您页面的速度的一系列步骤。

　　他们访问的越多，页面进入索引的速度就越快。

　　因此，您的优化工作将花费更少的时间来捕获并开始影响您的排名。

　　有了这个措辞，这听起来肯定是我们每一秒都应该做的最重要的事情，对吗？

　　嗯，不完全是。

　　为什么会忽略抓取预算优化？

　　要回答这个问题，你只需要看看谷歌的这个官方博客文章。

　　正如 Google 明确解释的那样，抓取本身并不是排名因素。

　　因此，仅此一项就足以阻止一些 SEO 专业人士甚至考虑抓取预算。

　　对于我们中的许多人来说，“不是排名因素”等同于“不是我的问题”。

　　我完全不同意这一点。

　　但即使您忘记了这一点，Google 的 Gary Illyes 也有评论。他开诚布公地说。当然，对于拥有数百万页的庞大网站来说，抓预算管理是有意义的。

　　但是如果你是一个中等大小的域，那么你就不必太关注抓取预算。 （其实，如果你真的有几百万的页面，你应该考虑剪掉一些内容，这对你的域名有好处。）

　　然而，众所周知，搜索引擎优化根本不是改变一个重要因素并获得结果的游戏。

　　SEO 是一个进行小的增量更改的过程，负责处理数十个指标。

　　我们的大部分工作是确保尽可能地优化数千个小东西。

　　此外，尽管它本身并不是一个很大的爬行因素，但正如 Google 的约翰·穆勒所指出的那样，它有利于转化率和整体 网站health。

　　尽管如此，我认为确保网站 上的任何内容都不会影响您的抓取预算很重要。

　　今天如何优化您的抓取预算

　　仍然有一些超重的项目，其他的重要性发生了巨大的变化，甚至完全无关。

　　你还需要注意我所说的网站健康“常见嫌疑人”。

　　1. 允许在 Robots.Txt 中抓取您的重要页面

　　这很简单，但也是自然而然的第一步，也是最重要的一步。

　　可以手动或使用网站review 工具管理 robots.txt。

　　我想尽可能多地使用工具。这是该工具简单、方便且有效的示例之一。

　　只需将您的 robots.txt 添加到您选择的工具中，您就可以在几秒钟内允许/阻止抓取您域中的任何网页。然后，您只需上传编辑好的文档即可！

　　显然，任何人都可以手动完成。但是根据我个人的经验，我知道网站有一个非常大的，可能需要经常校准，以便工具可以更轻松地帮助您。

　　2.注意力重定向链

　　这是网站健康的常识方法。

　　理想情况下，您可以避免对整个域使用单个重定向链。

　　老实说，对于一个非常大的网站，这是一个不可能完成的任务——301 和 302 重定向将不可避免地发生。

　　但是，一堆链接放在一起肯定会破坏你的爬取限制，让搜索引擎的爬虫可能只是停止爬行而不进入你需要索引的页面。

　　这里有一两个重定向，可能不会对你造成太大的伤害，但这是每个人都需要好好照顾的。

　　3.尽可能使用 HTML

　　现在，如果我们谈论 Google，必须说它的爬虫非常好。特别是对Flash和XML的抓取和索引也得到了改进。

　　另一方面，其他搜索引擎还没有。

　　所以，我个人的立场是，你应该尽可能坚持使用 HTML。

　　这样，你肯定不会伤害任何爬虫的机会。