Подробнее
Языковая модель не читает текст буквами и словами — она режет его на токены: для русского языка один токен — это обычно несколько букв, а слово состоит из одного-трёх токенов. Контекстное окно — предел того, сколько токенов модель обрабатывает за один запрос: туда входит и вопрос пользователя, и найденные страницы, и сам генерируемый ответ. Когда нейропоиск решает, что процитировать, ваша страница конкурирует с другими за место в этом окне — поэтому плотность смысла на токен напрямую влияет на шансы в нейроответах и результат AEO-продвижения.
Как модель видит ваш текст
Прежде чем что-то понять, модель прогоняет текст через токенизатор. Отсюда несколько практических следствий:
- объём измеряется не в знаках и словах, а в токенах — «вес» русского текста в токенах выше, чем английского;
- HTML-мусор, навигация и повторяющиеся блоки тоже тратят токены — до сути модель может просто «не дочитать»;
- длинные страницы редко попадают в контекст целиком: обычно туда берут отдельные фрагменты (см. чанкование);
- самое важное лучше говорить в начале страницы и в начале каждого раздела.
Практика: как окно режет ваши страницы
RAG-системы не скармливают модели страницы целиком — бюджет токенов на все источники ограничен, и из каждой страницы берутся фрагменты. Следствия для контента. Ответ в первых предложениях секции повышает шанс, что в окно попадёт именно суть, а не подводка. Самодостаточные блоки (см. правило изоляции абзаца) переживают нарезку без потери смысла. Русский текст «дороже» английского по токенам примерно в полтора-два раза — длинные конструкции и канцелярит буквально съедают бюджет цитирования. Служебный мусор в HTML (мегабайты обвязки вокруг килобайта смысла) ухудшает соотношение сигнала к шуму при извлечении. Плотность смысла на токен — новая метрика качества текста.
Контекстное окно: почему оно всегда мало
Современные модели обрабатывают за раз сотни тысяч токенов, и окна продолжают расти — но для нейропоиска окно всё равно дефицитный ресурс. В один ответ движок затаскивает фрагменты из многих источников, найденных через веер подзапросов, плюс историю диалога. На каждый сайт достаётся небольшая квота, и модель охотнее берёт фрагменты, где ответ сформулирован компактно и самодостаточно: определение, цифры, шаги, таблица. Расплывчатые вступления и канцелярит проигрывают эту конкуренцию первыми.
Что это значит для владельца сайта
Писать «под токены» — значит писать плотно: прямой ответ в первом абзаце, один смысл — один блок, подзаголовки, по которым фрагмент понятен без остальной страницы. Именно так работает контент, который делают в рамках создания ИИ-оптимизированного контента. Полезно и техническое: чистая вёрстка без лишнего кода, llms.txt с указанием ключевых страниц, доступность текста для ИИ-краулеров без исполнения скриптов. Проверить, как сайт выглядит глазами модели, помогает аудит видимости в ИИ.