Заходя на сайт, поисковый робот в первую очередь просматривает файл robots.txt. В нём указан набор инструкций, определяющих поведение робота – в частности, доступ к страницам сайта, разрешение на их индексацию.
Одним из параметров файла robots.txt является директива Crawl-delay, задающая минимальную частоту обращения робота к сайту и позволяющая регулировать нагрузку от поисковых ботов на сервер.
Настраивая файл robots.txt, владельцы сайтов обычно ставят значение Crawl-delay в соответствии с классическими рекомендациями, представленными в Интернете. Так, если этот параметр равен 2, то после скачивания ботом одной страницы и до начала скачивания другой пройдёт 2 секунды. Минимальное значение для Яндекса составляло 0,1 секунды, однако, последние изменения сделали директиву Crawl-delay неактуальной.
С 22 февраля 2018 года поисковые роботы Яндекса перестали учитывать Crawl-delay. Основной причиной этого стало то, что подавляющее большинство сайтов сейчас находятся на мощных серверах, обеспечивающих высокую скорость работы. И присутствие поисковых роботов не оказывает на сервер большой нагрузки, не приводит к замедлению работы сайта, его доступности пользователям. В то же время учёт роботами Crawl-delay замедляет индексирование страниц сайтов, что не отвечает интересам их владельцев.
Именно поэтому Яндекс последовал примеру Google, уже давно не учитывающего данный параметр. Скорость обхода страниц сайта поисковыми роботами Яндекса теперь не регламентируется значением Crawl-delay, что обеспечивает максимально быструю индексацию страниц сайта. Если же владелец сайта всё-таки хочет по каким-то причинам ограничить скорость обхода, он может это сделать, зайдя в Яндекс.Вебмастер, выбрав раздел «Индексирование» и настроив необходимым образом инструмент «Скорость обхода».
Данный инструмент позволяет установить скорость обхода страниц сайта поисковыми роботами в двух вариантах:
В первом случае необходимо выбрать пункт «Доверять Яндексу» (он включён по умолчанию, это самый оптимальный вариант). Скорость обхода в этом случае будет устанавливаться Яндексом автоматически, с учётом анализа работы сервера и допустимой нагрузки на него.
Также Вы можете выбрать пункт «Задать вручную» и перемещением ползунка установить интересующую Вас частоту запросов бота к серверу. Пункт Crawl-delay в файле robots.txt никакого значения больше не имеет, поэтому может быть удалён или оставлен как есть.
