谷歌网页视频抓取工具( Google会通过先进的算法确定最佳的最佳网站抓取速度)

　　谷歌网页视频抓取工具(

Google会通过先进的算法确定最佳的最佳网站抓取速度)

　　降低 Googlebot 的抓取速度

　　Google 使用高级算法来确定最佳 网站 抓取率。我们的目标是在您每次访问 网站 时抓取尽可能多的页面，而不会消耗过多的服务器带宽。在某些情况下，Google 抓取您的 网站 可能会给您的基础架构带来沉重的负担，或者在服务中断期间造成不必要的成本。为避免这种情况，您可以决定减少 Googlebot 发出的请求数量。

　　警告：降低 Googlebot 的抓取速度会产生广泛的影响，应慎重考虑。此举的影响包括：Googlebot 发现的新页面减少，现有页面的刷新频率降低（例如，价格和产品可用性可能需要更长的时间才能反映在 Google 搜索中），被删除的页面保留在索引中的时间可能更长。

　　如果您决定降低 Googlebot 的抓取速度，可以执行以下操作：

　　使用 Search Console 减慢抓取速度（推荐做法）

　　要快速降低抓取速度，您可以在 Search Console 中更改 Googlebot 抓取速度。对此设置的更改通常会在几天内反映出来。要使用此设置，请先验证您的 网站 所有权。设置抓取速率时，请务必避免将速率设置得太低而无法满足您的 网站 需求。详细了解抓取预算对 Googlebot 的意义。

　　如果您的 网站 无法使用抓取速度设置，请提交特殊请求以降低抓取速度。您不能请求更高的抓取速度。

　　让 Google 自动减慢抓取速度

　　如果您迫切需要在短时间内（例如几个小时或 1-2 天）减慢抓取速度，您应该返回一个带有 500、503 或 429 HTTP 结果代码的信息性错误（不是所有） 页。当遇到大量具有 500、503 或 429 HTTP 结果代码的 URL（例如，如果您禁用了 网站）时，Googlebot 会减慢您的 网站 的抓取速度。当 Googlebot 抓取返回这些错误的网址以及整个 网站 时，将反映此更改。减少这些错误的数量后，爬取率将再次自动开始提高。

　　警告：我们不建议您长时间执行此操作（即超过 1-2 天）。因为如果 Googlebot 在同一 URL 上发现上述状态代码数天，它可能会从 Google 的索引中删除该 URL。