Как проверить индексацию сайта в Яндексе и Google
Страница, которой нет в индексе, не может ранжироваться: сколько бы над ней ни работали, пользователь её в поиске не увидит. Поэтому проверка индексации — первое, что делают при любых жалобах на трафик. Ниже — как это сделать инструментами самих поисковиков, а не сторонними «чекерами».
Обход и индексация — не одно и то же
Робот сначала обходит страницу — скачивает её. Потом поисковик решает, стоит ли включать её в индекс, то есть в базу, из которой строится выдача. Страница может быть обойдена и не включена: робот её увидел, но счёл дублем, пустой или бесполезной. Поэтому в отчётах вы увидите оба состояния, и смотреть нужно на оба.
В Яндексе: Вебмастер
Яндекс Вебмастер — главный источник правды по Яндексу. Нужные места:
- Индексирование — Страницы в поиске. Показывает, сколько страниц сейчас в выдаче, и список страниц, которые из неё исключены, с причиной: дубль, ошибка ответа сервера, запрет в robots.txt, низкая ценность.
- Диагностика сайта. Критичные проблемы, из-за которых страницы могут выпасть.
- Инструмент «Проверка ответа сервера» — точный код, который видит робот по конкретному адресу.
Если страница в списке исключённых, причина обычно названа прямо. Это гораздо надёжнее, чем гадать по косвенным признакам.
В Google: Search Console
В Search Console есть два инструмента. Отчёт «Индексирование страниц» показывает, сколько страниц проиндексировано и почему остальные нет. А «Проверка URL» отвечает по одному адресу: в индексе ли он, когда его обходили, какой адрес Google выбрал каноническим и как робот увидел страницу. Последнее важно: канонический адрес у Google может отличаться от вашего — это одна из самых частых причин «странной» индексации.
Быстрая проверка: оператор site:
В строке поиска site:ваш-сайт.ru показывает примерный список страниц в
индексе. Число в этом ответе приблизительное, поэтому для решений его
использовать нельзя. Зато оператор годится на вопрос «есть ли вообще эта
страница»: site:ваш-сайт.ru/адрес-страницы.
Почему страницы не попали в индекс
- Запрет в robots.txt или
noindex. Проверьте файл robots.txt и мета-тег noindex: нередко их оставляют после разработки сайта. - Другой канонический адрес. Если на странице указан canonical на другой URL, поисковик индексирует тот.
- Ошибки сервера. Страница отдаёт 404 или 5xx — или иногда отдаёт, и робот приходит как раз в такой момент.
- Дубли. Несколько адресов с одним содержимым: поисковик выбирает один, остальные исключает.
- Контент недоступен роботу. Текст подгружается скриптом, а Яндекс обрабатывает JavaScript ограниченно.
- Слабая страница. Короткая, пустая или повторяющая другие. Такие страницы поисковик нередко обходит, но в индекс не включает.
Как ускорить индексацию
- Включите страницу в sitemap.xml и убедитесь, что на неё есть внутренняя ссылка: страница без входящих ссылок обходится реже.
- В Вебмастере используйте «Переобход страниц» для ключевых адресов, в Search Console — «Запросить индексирование» в проверке URL. Это ускоряет, но не гарантирует.
- Яндекс принимает уведомления об изменениях по протоколу IndexNow: при публикации сайт сам сообщает поисковику об изменённых адресах.
С чего начать
Откройте «Страницы в поиске» в Вебмастере и список исключённых страниц. Сравните их с теми, что вы считаете важными. Если важной страницы там нет — посмотрите причину и исправьте её; если проблем несколько, начинайте с той, что затрагивает больше всего адресов. Если нужна помощь с разбором, технический аудит перед стартом делаем бесплатно.
