Яндекс перестанет учитывать директиву Crawl-delay в robots.txt

 admin
  Статьи / Поисковые системы / Яндекс

Это произойдет с 22 февраля 2018 года. Но это не означает, что нельзя будет самостоятельно регулировать скорость обхода вашего сайта поисковыми роботами Яндекса.

На днях в Яндекс.Вебмастер появился новый инструмент под названием "Скорость обхода". Именно он призван заменить собой директиву Crawl-delay в robots.txt. Именно в настройках этого инструмента необходимо указывать ту периодичность обхода вашего сайта, которую вы посчитаете оптимальной. Если же вы не знаете какую выставить скорость обхода, то можете выставить опцию "Доверять Яндексу" и робот сам выберет оптимальную периодичность посещения вашего сайта.

Причина ввода в работу данного инструмента и прекращение учета директивы в robots проста. Пользователи заваливают службу поддержки Яндекса обращениями по поводу скорости индексирования сайтов. А причина зачастую как раз крылась в том, что в директиве Crawl-delay были указаны значения просто наугад, подсмотренные где-то, но не те, которые актуальны и оптимальны для конкретного сайта, и что еще более значимо, для того сервера, на котором находится сайт.

Яндекс перестанет учитывать директиву Crawl-delay в robots.txt

 0
 522
 20.02.2018


Напишите комментарий

только авторизованные пользователи могут оставлять комментарии


Рубрики

Помощь
  Общее
Статьи
  Поисковые системы
    Яндекс
    Google
  Программирование
    MySQL
    Redis
    PHP

Рекомендации

Теги

AOL, API, API Sape, CMS сайта, CheckTrust, Common Crawl, DMOZ, DNS, DNSBL, DateFormat, DateTime, Google, Harmonic Centrality, LinkOnAvt, LinkPad, MainLink, Moz, MozRank, NOODP, ODP, Open Directory Project, PageRank, PageSpeed, Panda, SEO, SERP, Solomono, TTFB, TTLB, Time To First Byte, Time To Last Byte, Visit Rank, Web of Trust, WoT, Xtool, Yii2, crawl-delay, domain authority, dump, expire, hSet, hashes, http status code, iGood, instr, like, mysql, page authority, redis, redis-cli, regexp, replace, restore, robots, sorted sets, substr, whois, zAdd, zRangeByScore, АГС, Баден-Баден, ИКС от Яндекс, Минусинск, Мои сайты, О сервисе, Общие вопросы, Работа с Sape, ТИЦ, ЧаВо, Яндекс, Яндекс.Вебмастер, внешние ссылки, внутренние ссылки, возраст домена, выдача, дата регистрации домена, домен, донор, интернет-магазин, информация, информация о домене, история проверок сайтов, исходящие ссылки, ключ, лог, метрика сайта, мои сайты - история версий, мониторинг доменов, мониторинг сайтов, настройки, обновление, определить CMS сайта, оптимизация, ошибка, панель сайтов, переоптимизирвоанные тексты, поиск битых ссылок, поиск редиректов на сайте, поиск ссылок, поисковые запросы, помощь, программа учета сайтов, продвижение сайта, продление домена, раскрутка, регистратор доменов, регистрация, сайт, семантическое ядро, скорость загрузки сайта, технический анализ сайта, технологии сайта, трафик, узнать cms сайта, узнать движок сайта, узнать систему сайта, узнать технологии сайта, фильтры отбора, яндекс метрика счетчик,

Статистика

Статей: 142
Комментариев: 1