Подробнее
X-Robots-Tag — это директива в HTTP-заголовке ответа сервера, задающая поисковым роботам правила индексации страницы или файла. В отличие от мета-тега robots, который работает только в HTML, заголовок применим к любым форматам — PDF, DOC, изображениям. Это инструмент технического SEO, влияющий на то, какие документы попадут в органическую выдачу. Грамотная настройка управления индексацией — часть базового технического SEO.
Как работает X-Robots-Tag
Заголовок передаётся сервером в ответе на запрос документа и читается поисковым роботом до или вместе с содержимым. Поддерживаются те же значения, что и у мета-тега robots: noindex (запрет индексации), nofollow (запрет перехода по ссылкам), none, noarchive, nosnippet и другие. Можно адресовать директиву конкретному боту, указав его имя: X-Robots-Tag: googlebot: noindex. Главное преимущество — управление форматами без HTML-кода, поэтому это удобный способ закрыть от индекса PDF-каталоги, архивы или служебные файлы.
- noindex — исключить документ из индекса поисковых систем
- nofollow — не передавать ссылочный вес по ссылкам со страницы
- noindex, nofollow — полный запрет индексации и обхода ссылок
- noarchive / nosnippet — запрет кэша и сниппета в выдаче
X-Robots-Tag, мета-robots и robots.txt
Эти три инструмента часто путают. Файл robots.txt управляет краулингом — он запрещает обход URL, но не гарантирует исключение из индекса. X-Robots-Tag и мета-тег noindex работают на уровне индексации: робот должен зайти на страницу и прочитать директиву, поэтому такой URL не должен быть закрыт в robots.txt, иначе бот не увидит запрет. X-Robots-Tag отличается от мета-robots тем, что работает на уровне HTTP-ответа и применим к нефайловым форматам. На практике директивы настраивают на уровне сервера или CMS в рамках технического аудита.
Типовые применения на практике
Три сценария, где без заголовка не обойтись. Файлы не-HTML: PDF-прайсы, документы и изображения нельзя закрыть мета-тегом (его некуда вставить) — noindex для них задаётся только через X-Robots-Tag в конфиге сервера. Массовые правила: в nginx или .htaccess заголовок вешается по маске расположения — на весь каталог /files/, на все *.pdf разом, — что надёжнее правки тысяч документов. Служебные поддомены и окружения: тестовые стенды правильнее закрывать авторизацией, но как страховка X-Robots-Tag на уровне сервера убережёт от индексации при случайно открытом доступе. Проверка одной командой: curl -I https://site.ru/file.pdf — заголовок виден в ответе; в панелях вебмастеров он тоже отображается в проверке URL.
Где применять заголовок
X-Robots-Tag незаменим, когда нужно закрыть от индекса документы, не имеющие HTML-разметки. Типичные сценарии: PDF-прайсы и инструкции, генерируемые на лету отчёты, изображения, файлы внутренней документации, результаты фасетной фильтрации. Настройка делается через конфигурацию веб-сервера (Nginx, Apache) или серверный код. Заголовок тесно связан с управлением кодами ответа сервера и директивой x-robots-tag на уровне всего раздела сайта. Корректная работа с индексацией повышает чистоту индекса и снижает риск попадания мусорных страниц в SERP, что особенно важно для крупных проектов в рамках SEO-продвижения.