Подробнее
Формат llms.txt был предложен в 2024 году Джереми Ховардом, сооснователем Answer.AI. Идея исходит из ограничения больших языковых моделей: их контекстное окно конечно, а типичная HTML-страница забита навигацией, скриптами и вёрсткой. Файл по адресу site.ru/llms.txt даёт короткую выжимку в Markdown: что это за ресурс, какие страницы главные и о чём каждая из них.
В отличие от robots.txt, llms.txt ничего не разрешает и не запрещает — это витрина, а не правило доступа. Главный вопрос к нему — кто его читает. Ни Google, ни Яндекс, ни OpenAI, ни Anthropic не подтверждали, что их поисковые системы и краулеры учитывают файл при формировании ответов, а представители Google публично говорили, что не используют его. Поэтому в GEO-продвижении llms.txt — пункт чек-листа на час работы, а не стратегия.
Как устроен файл
Предложение описывает простую структуру в Markdown, которую одинаково легко читать человеку и модели:
- Заголовок H1 с названием проекта — единственный обязательный элемент.
- Краткое описание в блоке цитаты: одна-две фразы о том, что это за ресурс и для кого.
- Свободные абзацы с пояснениями — например, как устроен каталог или чем различаются продукты.
- Разделы H2 со списками ссылок: в каждой строке ссылка на страницу и короткое пояснение после двоеточия.
- Раздел
Optional— второстепенные ссылки, которые агент может пропустить, если контекст ограничен.
Рядом часто кладут llms-full.txt — полный текст ключевых страниц одним файлом для прямой подачи в контекст модели. Предложение также советует отдавать markdown-версии страниц по тому же адресу с окончанием .md, но это уже отдельная доработка сайта.
Как файл может использоваться
Файл не встраивается в поисковый индекс и не обходится роботом как обычная страница. Сценарий, в котором он приносит пользу, выглядит так:
- ИИ-агент или инструмент разработчика получает задачу, связанную с сайтом: ответить по документации, собрать сведения о компании, сравнить тарифы.
- Он запрашивает site.ru/llms.txt напрямую — по соглашению об адресе, а не потому, что файл указан в robots.txt или карте сайта.
- Из файла агент берёт описание и выбирает несколько ссылок, подходящих под задачу, вместо того чтобы обходить весь сайт.
- Загружает выбранные страницы — в идеале их markdown-версии — и работает с чистым текстом в пределах контекстного окна.
Реалистичнее всего такой сценарий выглядит в инструментах для разработчиков и в агентах, которым пользователь сам даёт адрес документации. В массовом нейропоиске картина иная: движки с поиском выбирают источники через свой индекс и ИИ-краулеров, и подтверждений, что llms.txt влияет на этот выбор, нет.
llms.txt, robots.txt и sitemap.xml
Три файла лежат в корне сайта, но решают разные задачи и не заменяют друг друга.
| Файл | Задача | Кому адресован | Статус |
|---|---|---|---|
| robots.txt | Разрешает или запрещает сканирование разделов | Всем роботам, включая ИИ-краулеры | Общепринятый стандарт; соблюдение добровольное |
| sitemap.xml | Перечисляет URL для обхода и ускоряет индексацию | Поисковым роботам | Поддерживается поисковыми системами |
| llms.txt | Даёт краткое описание и приоритетные ссылки | Языковым моделям и ИИ-агентам | Предложение без подтверждённой поддержки поисковиков |
Отсюда два практических следствия. Закрыть раздел от нейросетей через llms.txt нельзя — для этого есть robots.txt и ограничения на сервере. И наоборот: страница, не попавшая в llms.txt, от ботов не скрыта.
Кому внедрять и чего ожидать
В первую очередь — проектам с документацией, API и базой знаний: их содержимое действительно подают агентам, и путеводитель экономит работу. Сервисам и магазинам файл тоже не повредит. Рабочий состав: описание компании (кто, что, для кого), блок денежных страниц (услуги, цены), блок справочного контента (глоссарий, руководства), контакты. Генерацию стоит встроить в сборку сайта рядом с картой — собранный руками файл устаревает за месяц.
Ожидания калибруйте честно: гарантий чтения нет ни у одного движка, но затраты близки к нулю, а витрина пригодится любому агенту, который решит её открыть. Это ставка «дёшево поставить, вероятность пользы ненулевая». Если ресурсы ограничены, на присутствие в нейроответах сильнее влияют контент, открытый доступ поисковых ботов ИИ-сервисов, проработанные сущности и сигналы E-E-A-T. Разбор файла на живом примере — в статье llms.txt: как создать и зачем он сайту.
Пример из практики
Типичный сценарий: сайт услуг получает совет «срочно сделать llms.txt, иначе нейросети вас не увидят». Файл собирают вручную за вечер, выкладывают и ждут роста упоминаний. Через месяц ответы нейросетей не меняются, а в логах сервера к /llms.txt нет обращений от ИИ-ботов, хотя сами краулеры по страницам сайта ходят.
Трезвый вывод — не удалять файл, а перестать на него рассчитывать: перевести генерацию в сборку, чтобы ссылки не устаревали, и направить силы на то, что движки гарантированно читают, — страницы услуг с фактами в HTML, доступность для поисковых ботов ИИ-сервисов, внешние упоминания компании.
Как проверить файл и его эффект
- Доступность. Откройте site.ru/llms.txt в браузере: код ответа 200, текстовый тип содержимого, кодировка UTF-8, без редиректа на главную и без мягкой 404 — страницы-заглушки с кодом 200.
- Ссылки. Прогоните все URL из файла через краулер: битые, перенаправленные и закрытые от индексации адреса уберите или замените.
- Отсутствие блокировок. Убедитесь, что путь не запрещён в robots.txt и что защита от ботов на уровне CDN не отдаёт агентам капчу вместо текста.
- Обращения в логах. Отфильтруйте логи сервера по запросам к /llms.txt и /llms-full.txt и посмотрите User-Agent. Отсутствие обращений от ИИ-сервисов — честный сигнал, что в вашей нише файл пока не читают. Заходы SEO-сканеров и любопытных коллег — не то же самое, что чтение нейропоиском.
- Эффект. Сравнивайте цитируемость бренда до и после по фиксированному набору промптов, помня, что одновременно меняется много факторов и приписать сдвиг именно файлу почти никогда нельзя.
Проверку служебных файлов и реальной активности ИИ-ботов по логам удобно провести в рамках SEO-аудита.