Выгрузка страниц в поиске Яндекса

Если ваш сайт добавлен в панель сервиса Яндекса.Вебмастер, то данные из инструмента "Страницы в поиске" с недавнего времени доступны для скачивания. В данном инструменте есть 2 раздела: "Последние изменения" и "Все страницы". Выгрузка доступна из обоих разделов.

Выгружая данные из раздела "Все страницы", вы получите информацию о всех страницах сайта, которые известны поиску Яндекса. Вы получите для каждой страницы URL, дату последнего посещения страницы роботом, а также тайтл страницы.

Выгружая данные из раздела "Последние изменения", вы получите те страницы, статус которых был изменен. Это означает, что страница или была добавлена в поиск, или исключена из него. В данной выгрузке вы получите более широкий спектр информации, нежели из раздела "се страницы". Для каждой страницы вы получите URL данной страницы, дату обновления поисковой базы и дату последнего посещения страницы поисковым роботом, тайтл страницы, действие, которое совершил поисковый робот Яндекса по отношению к данной странице (добавление или исключение из поиска). Также вы получите HTTP status code данной страницы, который был получен при последнем посещении страницы поисковым роботом Яндекса, получите адрес страницы, на которую есть редирект с текущей страницы.

При помощи данных выгрузок вы сможете легче решать такие задачи, как получение всех исключенных страниц, или всех добавленных в поиск страниц, получение всех, например, 404-х страниц или страниц с другим конкретным HTTP кодом, получение всех страниц, у которых не прописан title и прочее.

Выгружать данные возможно в XLS и CSV.

Тем самым, Яндекс.Вебмастер становится еще удобнее.

Статьи по теме