Яндекс перестанет учитывать директиву Crawl-delay в robots.txt

Это произойдет с 22 февраля 2018 года. Но это не означает, что нельзя будет самостоятельно регулировать скорость обхода вашего сайта поисковыми роботами Яндекса.

На днях в Яндекс.Вебмастер появился новый инструмент под названием "Скорость обхода". Именно он призван заменить собой директиву Crawl-delay в robots.txt. Именно в настройках этого инструмента необходимо указывать ту периодичность обхода вашего сайта, которую вы посчитаете оптимальной. Если же вы не знаете какую выставить скорость обхода, то можете выставить опцию "Доверять Яндексу" и робот сам выберет оптимальную периодичность посещения вашего сайта.

Причина ввода в работу данного инструмента и прекращение учета директивы в robots проста. Пользователи заваливают службу поддержки Яндекса обращениями по поводу скорости индексирования сайтов. А причина зачастую как раз крылась в том, что в директиве Crawl-delay были указаны значения просто наугад, подсмотренные где-то, но не те, которые актуальны и оптимальны для конкретного сайта, и что еще более значимо, для того сервера, на котором находится сайт.

Статьи по теме