Подробнее
Краулинговый бюджет — это объём ресурсов, который поисковая система выделяет на сканирование конкретного сайта за период. Он складывается из двух факторов: скорости, которую выдерживает сервер без перегрузки, и спроса на сканирование — насколько часто роботу «интересно» возвращаться к страницам. Для небольших сайтов бюджет редко становится проблемой, но на крупных каталогах и интернет-магазинах его нехватка тормозит индексацию. Управление бюджетом — задача технического SEO и регулярного аудита.
Из чего складывается краулинговый бюджет
Бюджет определяется двумя составляющими. Первая — crawl rate limit: максимальная частота запросов, которую сервер обрабатывает без замедления и ошибок 5xx. Чем быстрее и стабильнее отвечает сайт, тем больше страниц робот скачает за визит. Вторая — crawl demand: спрос на сканирование, который растёт у популярных, часто обновляемых и востребованных URL. На итоговый объём влияют скорость загрузки, частота обновления контента, ИКС и авторитетность домена. Поэтому оптимизация бюджета начинается с технического аудита сайта и улучшения серверных метрик.
- Crawl rate limit — лимит нагрузки, который держит сервер
- Crawl demand — спрос на повторное сканирование URL
- Скорость ответа сервера и доля ошибок 5xx
- Частота обновления и популярность страниц
Когда бюджет становится проблемой
Для сайтов до нескольких тысяч страниц краулинговый бюджет почти всегда избыточен — роботы успевают обойти всё. Проблема обостряется на крупных проектах: маркетплейсах, агрегаторах, каталогах с фильтрами и сортировками, генерирующими миллионы URL. Когда робот тратит ресурс на дубли, мусорные параметры и бесполезные страницы, важные разделы сканируются реже и медленнее обновляются в выдаче. Симптомы дефицита видны в Яндекс.Вебмастере и Search Console: растёт число «обнаруженных, но не проиндексированных» страниц, новые товары неделями не попадают в органическую выдачу.
Как увидеть, куда уходит бюджет
Единственный источник правды — что робот реально запрашивает. Первый уровень: «Статистика сканирования» в настройках Search Console и «Статистика обхода» в Яндекс.Вебмастере — динамика запросов в сутки и распределение по разделам и кодам ответа. Второй уровень — access-логи сервера: отфильтровать хиты робота и посчитать долю по разделам. Два красных флага. Робот тратит заметную долю — ориентир больше 20–30% — на URL с параметрами, пагинацию и служебные разделы: бюджет утекает в мусор, закрывайте его от сканирования. И второй: важные денежные страницы обходятся реже раза в месяц — при таком ритме даже исправленная страница неделями ждёт, пока поиск заметит изменения. Отдельный симптом: страницы вылетают из индекса пачками с одной датой обхода — это дефицит доверия к разделу, а не случайность.
Как экономить и направлять бюджет
Управление сводится к тому, чтобы робот тратил ресурс только на ценные URL. Закройте от сканирования служебные и фильтрационные страницы через robots.txt и noindex, устраните дубли страниц с помощью canonical и 301 редиректов. Поддерживайте актуальную карту сайта, грамотную внутреннюю перелинковку и логичную структуру сайта — это подсказывает роботу приоритеты. Ускорение сервера и оптимизация краулинга входят в продвижение по трафику на крупных проектах.