Подробнее
ИИ-краулеры — отдельный класс ботов, принадлежащих разработчикам больших языковых моделей и ИИ-сервисов. В отличие от классического поискового робота, который обходит сайт ради ранжирования в выдаче, они собирают тексты для обучения моделей, наполняют собственный поисковый индекс чат-ботов или подгружают страницу в момент, когда пользователь попросил ассистента её открыть.
Владельцу сайта из этого следует практическая задача — решить, кого пускать. Решение «закрыться от всех нейросетей» звучит как защита контента, но часто выключает сайт из ответов нейропоиска, где ссылки приводят людей. Разумная политика разделяет ботов по назначению, и это одна из базовых настроек при продвижении в нейросетях (GEO).
Какие боты бывают
Основных агентов удобно делить на три группы: обучающие, поисковые и пользовательские. Отдельно стоит Google-Extended — это не бот, а токен в robots.txt.
| Бот или токен | Чей | Назначение | Что даёт запрет |
|---|---|---|---|
GPTBot | OpenAI | Сбор данных для обучения моделей | Контент не используется для обучения будущих моделей; поиск ChatGPT обслуживает другой бот |
OAI-SearchBot | OpenAI | Индекс для поиска в ChatGPT | Сайт не показывается как источник в поисковых ответах ChatGPT |
ChatGPT-User | OpenAI | Загрузка страницы, когда пользователь просит ассистента её открыть | Ассистенту сложнее прочитать страницу по просьбе; к пользовательским загрузкам вендоры могут применять robots.txt иначе, чем к краулерам |
ClaudeBot | Anthropic | Сбор публичных данных для обучения моделей | Контент не попадает в новые обучающие данные |
PerplexityBot | Perplexity | Индекс для ответов Perplexity | Сайт перестаёт появляться в источниках Perplexity |
CCBot | Common Crawl | Открытый веб-архив, на котором обучают многие модели | Страницы не попадают в новые срезы архива; уже собранные данные остаются |
Google-Extended | Токен: использование контента для Gemini | Не влияет на Google Поиск и AI Overviews — их обслуживает Googlebot |
Списки меняются: вендоры добавляют новых агентов и переименовывают старых, поэтому перед правкой robots.txt сверяйтесь с документацией сервиса. Для Алисы AI ключевое условие другое — ответы опираются на поиск Яндекса, поэтому первична обычная индексация сайта.
Как ИИ-краулер обращается с сайтом
- Запрашивает robots.txt и ищет группу правил под своим User-Agent; если её нет, действуют правила общей группы
User-agent: *. - Скачивает HTML-ответ страницы. Большинство ИИ-краулеров не исполняют JavaScript как браузер или делают это ограниченно, поэтому контент, появляющийся только после рендеринга скриптов, для них может не существовать.
- Извлекает текст и ссылки, отбрасывая вёрстку, и передаёт документ дальше: в обучающий корпус, в поисковый индекс сервиса или сразу в ответ пользователю.
- Возвращается с периодичностью, которую определяет сам вендор. Директиву
Crawl-delayсоблюдают не все боты, поэтому частоту надёжнее ограничивать на сервере.
Важно помнить: robots.txt — просьба, а не защита. Добросовестные боты его соблюдают, но под именами известных краулеров ходят и сторонние скрейперы, которым правила безразличны. Закрыть доступ по-настоящему можно только на уровне сервера или CDN — по User-Agent в связке с IP-диапазонами, которые публикуют вендоры.
Матрица решений: кого пускать
Решение принимается не «пускать или не пускать», а по сочетанию типа бота и типа контента:
- Поисковые боты ИИ-сервисов (
OAI-SearchBot,PerplexityBot): открывать максимально — они приводят цитирование со ссылками здесь и сейчас. Блокировка поискового бота убирает сайт из ответов этого сервиса. - Обучающие краулеры (
GPTBot,ClaudeBot,CCBot) и токенGoogle-Extended: публичные коммерческие и справочные страницы разумно оставить открытыми — это шанс, что модель будет знать бренд. Закрывать имеет смысл уникальную платную фактуру, исследования и материалы, которые вы продаёте. - Пользовательские агенты (
ChatGPT-Userи аналоги у других сервисов): обычно открывать — за каждым заходом стоит человек, который попросил прочитать страницу.
Острее всего вопрос стоит для медиа и сайтов с платным контентом: обучение моделей на их текстах — прямой бизнес-риск. Сервисным компаниям, магазинам и B2B обычно выгоднее быть открытыми, ведь их задача — чтобы нейросеть знала и называла бренд. Технически политика задаётся отдельными группами User-agent в robots.txt, по одной на каждого бота или семейство.
Пример из практики
Типичная ситуация: после новостей о том, что нейросети «забирают трафик», разработчик по просьбе владельца добавляет в robots.txt запрет для всех известных ИИ-ботов одним списком из чужого шаблона. Спустя время сайт перестаёт появляться в источниках Perplexity и поиска ChatGPT, хотя раньше цитировался по нескольким справочным вопросам.
Разбор показывает две проблемы. Вместе с GPTBot закрыты OAI-SearchBot и PerplexityBot, то есть поисковые агенты. А в скопированном шаблоне оказалась строка, которая запрещает раздел с ценами для всех роботов, включая поисковых. Исправление — разделить группы правил по назначению ботов, вернуть поисковым агентам доступ, убрать лишний запрет и перепроверить файл, прежде чем выкладывать.
Как проверить, кто ходит и что разрешено
- Логи сервера. Выгрузите access-логи и отфильтруйте их по User-Agent:
GPTBot,OAI-SearchBot,ChatGPT-User,ClaudeBot,PerplexityBot,CCBot. Смотрите, какие разделы запрашиваются, с каким кодом ответа и как часто. Подход подробно разобран в статье про анализ логов. - Подлинность. Сверьте IP-адреса заходов с диапазонами, которые публикуют вендоры. Запросы с «правильным» User-Agent из чужих сетей — скрейперы под маской.
- Коды ответа. Бот, получающий 403 или капчу от защиты CDN, фактически заблокирован, даже если robots.txt всё разрешает. Это частая причина невидимости, о которой владелец не знает.
- robots.txt. Проверьте, какие группы правил есть и не задевает ли ИИ-ботов общий
DisallowдляUser-agent: *. Инструмент «Анализ robots.txt» в Яндекс.Вебмастере показывает синтаксические ошибки и доступность конкретных URL для робота Яндекса; ошибка синтаксиса ломает правила и для остальных ботов. - Первичный HTML. Запросите важную страницу без исполнения скриптов, например через
curl, и убедитесь, что текст, цены и ответы на вопросы есть в исходном коде. - Итог в ответах. Раз в месяц сверяйте по фиксированному набору вопросов, цитируют ли ваш сайт сервисы, чьих ботов вы пустили.
Разбор логов, правил доступа и защиты от ботов — стандартная часть технического аудита, а связку с контентом под нейроответы закрывает оптимизация под нейропоиск (AEO).