Индексация сайта: что это и как проверить

Индексация — это процесс, в котором поисковая система добавляет страницу сайта в свою базу данных, индекс. Только страницы из индекса могут появиться в выдаче: если страницы там нет, показать её по запросу поисковик не может.

Обход и индексация

Это два разных шага. Сначала робот обходит страницу: скачивает HTML, читает текст и ссылки. Потом поисковик решает, включать ли её в индекс. Страница может быть обойдена и не проиндексирована: например, если её признали дублем, если на ней стоит запрет noindex или если она слишком короткая и ничего не добавляет к другим.

Зачем знать, что проиндексировано

Жалобы на падение трафика часто оказываются проблемой индексации, а не позиций. Если страница выпала из индекса, никакая оптимизация ей не поможет, пока причина не устранена. Поэтому проверка индекса — первый шаг любого разбора.

Как проверить

• Яндекс. В Вебмастере, раздел «Страницы в поиске», видно, какие страницы в выдаче и по какой причине исключены остальные.
• Google. В Search Console отчёт «Индексирование страниц» и инструмент «Проверка URL» по отдельному адресу.
• Быстро. Оператор site: в строке поиска показывает приблизительный список. Число в нём неточное, поэтому для решений оно не годится.

Что мешает индексации

Запрет в robots.txt или тег noindex, дубли и неверный canonical, ошибки сервера, слабый контент, текст, который подгружается скриптом и не виден роботу. Подробный разбор — в статье как проверить индексацию сайта.

Типичная ошибка

Ждать индексации, не проверив причину. Если страница не попала в индекс за две-три недели, дело не во времени: что-то мешает, и это почти всегда видно в отчёте Вебмастера.