Дубли страниц: что это, откуда берутся и как убрать

Дубли страниц — это страницы с одинаковым или почти одинаковым содержимым, доступные по разным адресам. Поисковик вынужден выбирать одну из них, и выбор не всегда совпадает с вашим.

Откуда берутся

• Разные формы адреса: с www и без, http и https, со слэшем и без, в разном регистре. Это технические дубли.
• Параметры: метки рекламы, сортировки, идентификаторы сессий.
• Фильтры каталога: каждое сочетание создаёт свой адрес.
• Постраничные списки и версии для печати.
• Один и тот же материал в двух разделах сайта.

Чем вредят

Вес ссылок и сигналы делятся между копиями. Поисковик может показывать не ту страницу, которую вы продвигаете, или менять выбранную при каждом обновлении. Робот тратит обходы на копии вместо новых страниц. А если дублей много, часть страниц поисковик вообще исключает из выдачи.

Как найти

В Вебмастере в списке исключённых страниц есть причина «дубль». Краулер собирает страницы с одинаковым title и содержимым. Смысловые дубли, когда разные страницы отвечают на один запрос, видны в выдаче: по запросу показывается то одна ваша страница, то другая (см. каннибализацию).

Как убрать

1. Редирект 301 — когда лишний адрес не нужен вообще.
2. Canonical — когда обе страницы нужны посетителю.
3. Clean-param — для параметров в Яндексе.
4. Закрытие от индексации — для служебных страниц.
5. Объединение материалов — для смысловых дублей.

Полный разбор — в статье дубли страниц.

Типичная ошибка

Закрывать дубли в robots.txt вместо правильного объединения. Робот не обойдёт страницу, но сигналы с неё всё равно не склеиваются: правильнее перенаправить или указать canonical.