海外翻墙免费加速器[入口]

减慢 Googlebot 的抓取速度

Google 会通过先进的算法确定最佳的网站抓取速度。

我们的目标是,每次访问您的网站时都尽可能多地抓取网页,但不会过多地占用服务器的带宽。

在某些情况下,Google 抓取您的网站可能会给您的基础架构带来沉重负载,或在服务中断期间带来不必要的成本。为了避免这种情况,您可以决定减少 Googlebot 发出的请求数量。

警告:

减慢 Googlebot 的抓取速度将会产生广泛的影响,请谨慎考虑。

 

此举的影响包括:Googlebot 发现的新网页数量会减少,现有网页的刷新频率会降低(例如,价格和商品库存状况可能需要更长时间才能体现在 Google 搜索中),被移除的网页保留在索引中的时间可能会更长。

如果您决定减慢 Googlebot 的抓取速度,可以采用以下方法:

1、通过 Search Console 减慢抓取速度(推荐做法)

2、让 Google 自动减慢抓取速度

通过 Search Console 减慢抓取速度(推荐做法)

如需快速减慢抓取速度,您可以在 Search Console 中更改 Googlebot 抓取速度。

对此设置所做的更改通常会在几天内得以体现。如需使用此设置,请先验证您的网站所有权。

设置抓取速度时,请务必避免将速度值设得过低,导致无法满足您网站的需求。详细了解抓取预算对 Googlebot 而言有何意义。

让 Google 自动减慢抓取速度

如果您急需让抓取速度在短时间(如几个小时或 1-2 天)内减慢,应该返回包含 500、503 或 429 HTTP 结果代码(而非所有内容)的信息性错误页面。

在遇到大量包含 500、503 或 429 HTTP 结果代码的网址时(例如,如果您停用了您的网站),Googlebot 会减慢对您网站的抓取速度。

这项更改会在 Googlebot 抓取返回这些错误的网址以及整个网站时体现出来。这些错误的数量减少后,抓取速度会自动重新开始提升。

警告:

我们不建议您长时间(即超过 1-2 天)这么做。因为如果 Googlebot 一连数天在同一网址上发现上述状态代码,可能会将该网址从 Google 索引中移除。