robots.txt: что это и как правильно настроить

robots.txt — текстовый файл в корне сайта (/robots.txt), в котором владелец сообщает поисковым роботам, какие разделы сайта обходить можно, а какие нет.

Основные директивы

• User-agent — для какого робота правило. * означает всех, Yandex — роботов Яндекса.
• Disallow — запретить обход адреса или раздела.
• Allow — разрешить обход внутри запрещённого раздела.
• Sitemap — адрес карты сайта.
• Clean-param — только для Яндекса: какие параметры адреса игнорировать (см. Clean-param).

Директива Host больше не используется: Яндекс определяет главное зеркало по редиректам, а Crawl-delay Яндекс не учитывает — скорость обхода регулируется в Вебмастере.

Чего robots.txt не делает

Он запрещает обход, а не индексацию. Страница, закрытая в Disallow, всё равно может попасть в выдачу, если на неё ведут ссылки, — просто без описания. Чтобы страницу гарантированно не показывали, используют тег noindex. Причём закрывать такую страницу в robots.txt одновременно нельзя: робот не зайдёт и не увидит запрета.

Как проверить

Откройте ваш-сайт.ru/robots.txt и убедитесь, что файл существует и отдаётся с кодом 200. В Яндекс Вебмастере и Search Console есть проверка: она показывает, разрешён ли обход конкретного адреса.

Типичные ошибки

• Disallow: / после разработки. Сайт закрыт от роботов и остаётся закрытым после запуска. Это самая частая причина, по которой «сайт не виден».
• Закрыты папки со скриптами и стилями: робот не может отрисовать страницу так, как её видит посетитель.
• Запрещены служебные адреса, но забыты параметры сортировки и фильтров, которые плодят дубли.
• Файл лежит не в корне: поисковик его не найдёт.

Как это сделано у нас

Для Яндекса, Google и остальных роботов правила сформулированы отдельно, служебные адреса закрыты, а адрес карты сайта указан в конце файла. Сам файл собирается из кода сайта, и тест проверяет, что в нём есть и директива Clean-param, и ссылка на sitemap.xml.