Google Search Console 中的抓取速度限制器工具将于 2024 年 1 月 8 日弃用。此工具已推出十多年,但随着对抓取逻辑以及面向发布商的其他工具的改进,此工具已不再实用。
Googlebot 会根据网站(更具体地说是处理网站的处理器)响应 Googlebot 的 HTTP 请求的方式做出回应。例如,如果服务器针对一系列网址持续返回 HTTP 500 状态代码,那么 Googlebot 就会自动执行,并且几乎会立即降低抓取速度。同样,如果请求的响应时间明显变长,Googlebot 也会自动降低速度。
相比之下,使用速度限制器工具的效果要慢得多;实际上,可能需要超过一天的时间才会针对抓取操作应用新的限制。幸运的是,网站所有者很少必须使用该工具,如有必要使用,在很多情况下,使用者也都将抓取速度设为最低。 在弃用抓取限制器工具后,Google也会将最低抓取速度设为较低的速度,与先前的抓取速度限制相近。这意味着,如果搜索热度较低,Google会继续采用某些网站所有者过去设定的设置,抓取工具不会浪费网站的带宽。
自动抓取速度处理技术日益进步,而且Google一直致力于为用户提供简便的工具,因此我们将在 Search Console 中弃用此工具。我们会保留 Googlebot 报告表单,以便报告异常的 Googlebot 活动和紧急情况。