Краулинговый бюджет: что это и когда он важен
Обновлено
Краулинговый бюджет — это объём обхода, который поисковый робот выделяет сайту: сколько страниц он готов скачать за определённое время. Бюджет не фиксирован и не публикуется; он складывается из того, насколько быстро отвечает сервер, и из того, насколько сайт интересен поисковику.
Когда это важно
Для небольшого сайта в несколько сотен страниц бюджет почти никогда не бывает узким местом: робот успевает обойти всё. Он становится проблемой на крупных сайтах, например в интернет-магазине с десятками тысяч товаров и фильтрами, где комбинаций параметров во много раз больше, чем настоящих страниц.
На что тратится бюджет впустую
- адреса с параметрами и фильтрами, которые дублируют содержимое;
- дубли страниц по разным адресам;
- цепочки редиректов и битые ссылки;
- страницы с ошибками сервера;
- служебные адреса: поиск по сайту, сортировки, сессии.
Робот тратит обходы на мусор и позже добирается до нужных страниц, а новые материалы медленнее попадают в индекс.
Как его беречь
- Закрыть в robots.txt служебные разделы и адреса с параметрами, которые не нужны в поиске.
- Для Яндекса — директива Clean-param, которая объясняет, какие параметры можно игнорировать.
- Держать актуальным sitemap.xml с честным
lastmod. - Исправлять редиректы и ошибки: чем быстрее и чище отвечает сайт, тем охотнее робот приходит.
Как посмотреть
В Вебмастере есть статистика обхода: сколько страниц робот скачал в день, какие коды ответа получил и сколько времени ушло. Резкий рост доли ошибок или падение числа обходов — повод проверить сервер. Логи сервера дают точную картину: что именно обходит Яндекс, а что нет.
Типичная ошибка
Беспокоиться о бюджете на сайте из ста страниц. Сначала проверьте простое: индексацию, дубли и скорость. Бюджет — вопрос для крупных каталогов.