Дубли страниц — откуда берутся и как их закрыть

Дубли — самая частая техническая проблема, которую мы находим на аудитах, и одновременно самая недооценённая. Сайт выглядит нормально, контент на месте, а трафика нет, потому что поисковик тратит силы на сотни копий одной и той же страницы вместо того, чтобы обходить полезные.

Откуда они берутся

Почти никогда — не оттого, что кто-то скопировал текст. Дубли создаёт сам движок сайта, обычно незаметно для владельца.

Параметры фильтрации и сортировки. Каталог на 600 позиций легко порождает несколько тысяч адресов вида ?color=red&sort=price. Содержимое почти одинаковое, адреса разные — для поисковика это разные страницы.

Пагинация. /catalog/, /catalog/page/2, /catalog/?page=2 — если движок отдаёт всё три, это три адреса одного раздела.

Технические варианты одного адреса. С www и без, http и https, со слэшем на конце и без, с index.php и без, в разном регистре. Каждая пара удваивает количество копий.

UTM-метки. Ссылка из рассылки или с рекламы приходит с хвостом ?utm_source=.... Если сайт отдаёт по такому адресу обычную страницу с кодом 200, в индекс попадает ещё одна копия.

Чем они вредят

Тремя способами, и второй обычно недооценивают сильнее всего.

Первое — краулинговый бюджет. У робота есть лимит на количество страниц, которые он обойдёт за визит. Если 66% этого лимита уходит на копии, новые и обновлённые страницы он увидит позже. На большом каталоге это разница между «новинки в выдаче через неделю» и «через два месяца».

Второе — размытие сигналов. Внешние и внутренние ссылки распределяются между копиями вместо того, чтобы усиливать одну страницу. Десять ссылок на десять вариантов одного адреса работают хуже, чем десять ссылок на один.

Третье — поисковик выбирает не ту страницу. Столкнувшись с копиями, Яндекс сам решает, какую показывать. Его выбор регулярно не совпадает с вашим: в выдаче оказывается страница с параметрами вместо чистой категории.

Как их найти

Начните с Яндекс.Вебмастера, раздел «Страницы в поиске», вкладка «Исключённые». Дубли там помечены прямо. Заодно посмотрите «Статистику обхода» — она покажет, на что робот реально тратит визиты.

Дальше — логи сервера. Это единственный способ увидеть картину целиком: какие адреса робот запрашивает, какие коды ответа получает и сколько времени на это уходит. В нашем проекте для этого есть отдельный разбор логов сервера.

Как их закрыть

Rel=canonical — основной инструмент для страниц, которые должны остаться доступными людям, но не должны индексироваться отдельно. Фильтры каталога — типичный случай: пользователю фильтр нужен, поисковику отдельная страница под каждую комбинацию — нет.

301-редирект — для технических вариантов адреса. www на основной домен, http на https, адрес со слэшем на адрес без него. Важно, чтобы редирект был один, а не цепочка: каждый лишний переход тратит бюджет обхода.

Clean-param в robots.txt — директива именно для Яндекса. Она говорит роботу, что перечисленные параметры не меняют содержимое, и адреса с ними и без них — одна страница. Для UTM-меток это самое точное решение. Разницу между Clean-param и canonical мы разбираем отдельно про Clean-param.

Noindex — когда страница нужна людям, но в выдаче не нужна совсем. Служебные разделы, страницы результатов внутреннего поиска.

Что не работает

Закрытие в robots.txt не убирает страницу из индекса. Это самое распространённое заблуждение. Директива Disallow запрещает роботу обходить адрес — но если на него ведут ссылки, страница может попасть в выдачу без описания. Хуже того, закрыв адрес в robots.txt, вы лишаете робота возможности увидеть на нём canonical или noindex. То есть закрытие в robots.txt мешает избавиться от дубля.

Canonical с пагинации на первую страницу. Логика кажется разумной: вторая и третья страницы списка — это же «тот же раздел». На практике Google такой canonical игнорирует, а страницы при этом теряют самостоятельность. У каждой страницы пагинации canonical должен указывать на неё саму.

Удаление адресов вручную через Вебмастер. Работает как разовая мера, если дублей несколько десятков. Если их тысячи и движок продолжает их порождать, вы будете удалять быстрее, чем сайт создаёт.

С чего начать

Посмотрите в Вебмастере, сколько страниц у вас в поиске и сколько исключено. Если исключённых заметно больше, чем находящихся в поиске, — почти наверняка проблема в дублях, и разбираться с контентом до их устранения бессмысленно.