Google закрывает инструмент контроля скорости сканирования сайта

Google принял решение исключить из инструментария Search Console функцию под названием «Ограничение скорости сканирования». Данный функционал предоставлял владельцам веб-сайтов возможность управлять частотой сканирования их страниц поисковым роботом Googlebot.

На практике, данное средство предостерегало от возможной перегрузки сервера веб-ресурса, вызванной избыточными запросами на сканирование со стороны поискового робота. Слишком частые запросы могли серьезно нагружать сервер и мешать его эффективной работе.

Однако в компании Google сейчас объявляют, что данное средство управления скоростью сканирования утратило свою актуальность. Теперь поисковый робот Googlebot обладает улучшенными функциями, способными автоматически выявлять, если сервер испытывает трудности в обработке поступающих запросов. В таких случаях он автоматически уменьшает частоту сканирования, даже без явной команды со стороны владельца веб-сайта.

В связи с этим решением, инструмент «Ограничение скорости сканирования» будет удален из Search Console с 8 января 2024 года. В результате скорость сканирования веб-сайтов будет полностью автоматизирована и будет зависеть исключительно от эффективности работы сервера.

Тем не менее, пользователи по-прежнему смогут подавать жалобы на аномальное поведение Googlebot. Как и ранее, оптимальным методом управления скоростью сканирования остается предоставление корректных HTTP-кодов в ответ на запросы робота.