Подробнее
robots.txt — служебный файл в корне домена (site.ru/robots.txt), задающий правила сканирования для поисковых роботов. С его помощью закрывают от обхода технические и служебные разделы, экономя краулинговый бюджет и направляя робота к важным страницам. Это базовый инструмент технической оптимизации, который проверяют в ходе SEO-аудита сайта и поддерживают при SEO-сопровождении.
Синтаксис и основные директивы
Файл состоит из блоков, начинающихся с директивы User-agent (имя робота или * для всех). Внутри блока указывают правила обхода. Ключевые директивы стоит знать наизусть:
- User-agent — для какого робота действуют правила (Yandex, Googlebot или * для всех).
- Disallow — запрет на сканирование пути или раздела.
- Allow — точечное разрешение внутри закрытого раздела.
- Sitemap — абсолютный адрес карты сайта, помогающий ускорить индексацию.
- Clean-param (для Яндекса) — отсечение GET-параметров, плодящих дубли страниц.
Рабочий шаблон и главный нюанс
Типовому сайту хватает короткого файла: User-agent: * с точечными Disallow на служебные разделы (поиск, корзина, личный кабинет, параметры сортировок), строка Sitemap с абсолютным URL карты и — для Яндекса — Clean-param для GET-параметров, не меняющих контент (utm, сортировки): это склеивает параметрические дубли корректнее запретов. Главный нюанс, на котором горят: robots.txt управляет сканированием, а не индексацией. Закрытый в нём URL может остаться в выдаче «без описания», а поставленный на закрытой странице noindex робот никогда не прочитает. Правило: убрать из индекса — noindex при открытом сканировании; сэкономить обход — Disallow; вместе на одном URL эти директивы не работают.
Чем robots.txt отличается от noindex
Это частая точка путаницы. robots.txt управляет именно сканированием: он просит робота не заходить на страницу, но не гарантирует её отсутствие в выдаче — закрытый URL может попасть в индекс по внешним ссылкам и показаться в SERP без описания. Чтобы страница точно не индексировалась, используют метатег noindex или HTTP-заголовок X-Robots-Tag, но тогда страница не должна быть закрыта в robots.txt — иначе робот не увидит запрещающий тег. Управление обходом также пересекается с настройкой канонических URL и 301 редиректов при работе с дублями.
Типовые задачи и риски
В robots.txt закрывают корзину, личный кабинет, страницы поиска по сайту, фильтры с параметрами и админку — то, что не должно тратить краулинговый бюджет. Главный риск — случайно закрыть весь сайт строкой Disallow: / на этапе разработки и забыть открыть после релиза. Проверять файл удобно в Google Search Console и Яндекс.Вебмастере, где есть валидаторы. Грамотная настройка robots.txt — часть технического SEO и общего продвижения сайта, особенно для крупных каталогов со сложной структурой сайта.