Устройство и работа языковых моделей: диагностика дефектов ответа
Практическое руководство: по дефекту ответа определить этап работы языковой модели и выбрать одно вмешательство — промпт, стратегию генерации или отказ от модели.

Когда ответ языковой модели не устраивает, первая реакция — сменить модель. Часто это самое дорогое и самое бесполезное действие: дефект остаётся, потому что он возник не в «качестве модели», а на конкретном этапе обработки запроса. Ниже — диагностический подход: сначала определить этап, потом выбрать одно вмешательство. Теория даётся только в объёме, нужном для диагностики.
Зачем диагностировать, а не менять модель наугад
Внутреннее устройство современных языковых моделей устроено так, что разные типы ошибок рождаются в разных местах конвейера. Обрезанный хвост и потеря середины длинного документа — это не «глупость» модели, а следствие того, как устроены вход, внимание и генерация. Если понять, где именно ломается, можно обойтись правкой промпта или настройкой генерации вместо перехода на другую модель.
Практическая выгода простая: правка промпта занимает минуты и не требует бюджета, смена модели — это переобучение команды, перенос интеграций и новые неизвестные дефекты. Поэтому диагностика почти всегда дешевле.
Минимальная модель конвейера: пять этапов и что каждый может испортить
Чтобы говорить о том, как думает языковая модель, достаточно пяти этапов. Каждый вносит свой класс дефектов.
1. Токенизация
Текст превращается в последовательность числовых идентификаторов — токенов. Популярный подход, byte-pair encoding (BPE), начинает со словаря символов и постепенно добавляет правила слияния частых пар, поэтому токен часто соответствует части слова, а не целому слову (Hugging Face, глава о BPE). Что это значит для диагностики: редкие слова, нестандартные символы, длинные числа и идентификаторы дробятся на множество мелких токенов. Отсюда — ошибки в посимвольных задачах (подсчёт букв, точное копирование артикулов) и «разъезд» длинных чисел.
2. Эмбеддинги и позиция
Токены получают векторные представления, а информация о порядке добавляется отдельно. Модель не «видит» текст как строку — она работает с последовательностью векторов. Дефекты этого этапа проявляются в путанице порядка и в потере связи между далеко стоящими фрагментами.
3. Внимание и контекст
Механизм внимания сопоставляет запросы (query), ключи (key) и значения (value), а масштабированное скалярное произведение — базовая операция этого механизма (PyTorch, руководство по SDPA). Практический вывод: модель распределяет «внимание» по доступному контексту неравномерно. Начало и конец длинного документа обычно представлены лучше, чем середина. Это главный источник потери середины.
4. Распределение вероятностей
На выходе модель выдаёт вероятности следующего токена. Это вероятностная, а не фактическая модель: она не «знает», а оценивает правдоподобие продолжения. Уверенная выдумка рождается здесь — модель выбирает правдоподобное продолжение там, где данных для точного ответа нет.
5. Декодирование
Из распределения выбирается конкретный токен, и цикл повторяется. Стратегия выбора (детерминированная или с элементом случайности, с ограничением длины) определяет зацикливание, обрыв и вариативность ответов.
Таблица «симптом → этап → вмешательство»
| Симптом | Вероятный этап | Одно вмешательство |
|---|---|---|
| Обрезанный хвост ответа | Декодирование (лимит длины) | Увеличить лимит вывода или разбить задачу на части |
| Потеря середины документа | Внимание и контекст | Перестроить промпт: вынести ключевые фрагменты в начало и конец |
| Разъезд чисел, артикулов | Токенизация | Просить копировать значения дословно и проверять их отдельно |
| Зацикливание | Декодирование | Сменить стратегию генерации, ограничить повторы |
| Смена языка | Распределение вероятностей | Явно задать язык и формат ответа в промпте |
| Уверенная выдумка | Распределение вероятностей | Требовать опоры на предоставленный текст, иначе отказ |
Разбор симптомов
Обрезанный хвост
Ответ обрывается на полуслове или на середине списка. Это почти всегда ограничение длины вывода, а не «нежелание» модели. Проверка: попросите тот же ответ в двух частях. Если обе части полные — дело в лимите.
Потеря середины документа
Модель уверенно пересказывает начало и конец, но пропускает раздел из середины. Это не галлюцинация: фрагмент был во входе, но получил меньше внимания. Вмешательство — не смена модели, а перестройка промпта: разбить документ на части или вынести ключевые пункты в начало запроса.
Разъезд чисел
Суммы, даты и артикулы меняются при пересказе. Причина — токенизация: длинное число может быть разбито на несколько токенов, и модель «собирает» его заново. Надёжнее просить копировать значения дословно и сверять их отдельным шагом.
Зацикливание
Модель повторяет одну и ту же фразу. Это свойство стратегии генерации, а не понимания темы. Вмешательство — настройка декодирования и более чёткая формулировка задачи.
Смена языка
Ответ начинается на русском, а заканчивается на английском. Причина — вероятностное продолжение: модель выбирает наиболее правдоподобный следующий токен, и при недостаточно явном указании языка «соскальзывает». Явное требование языка и формата обычно решает проблему.
Уверенная выдумка
Модель выдаёт конкретный факт, которого нет во входных данных. Это не сбой, а штатное поведение вероятностной модели. Вмешательство — требовать опоры на предоставленный текст и явного отказа при отсутствии данных.
Три проверки перед сменой модели
- Воспроизводимость. Повторите запрос несколько раз. Если дефект плавает — это декодирование, а не модель.
- Локализация по длине и позиции. Сократите вход вдвое. Если дефект исчез — проблема в контексте и внимании.
- Короткий контрольный вход. Дайте минимальный пример с тем же типом данных. Если на коротком входе всё верно — дело не в «незнании» темы.
Дерево решений
- Дефект плавает между запусками → декодирование → настройка стратегии генерации.
- Дефект стабилен и связан с длиной входа → внимание и контекст → перестройка промпта.
- Дефект только на числах и идентификаторах → токенизация → дословное копирование и отдельная сверка.
- Дефект в фактах, которых нет во входе → распределение вероятностей → требование опоры на текст.
- Ни один пункт не подходит → тупик диагностики, см. раздел об отказе от модели.
Сквозной пример: длинный договор
Представим команду, которая просит модель выделить риски из договора на несколько десятков страниц. В ответе уверенно пересказаны первые разделы и итоговые обязательства, но пропущен пункт о штрафах из середины. Соблазн — сменить модель.
Диагностика по шагам:
- Повторяем запрос — пропуск стабилен. Значит, не декодирование.
- Сокращаем договор до двух страниц с тем же пунктом — модель находит штрафы. Значит, дело в длине и позиции.
- Переносим раздел о штрафах в начало запроса — модель его упоминает.
Вывод: этап — внимание и контекст, вмешательство — перестройка промпта, а не смена модели. Тот же приём работает и для других длинных документов: ключевые фрагменты стоит дублировать в начале и конце запроса.
Типичная ошибка диагностики
Частая ошибка — принять потерю середины документа за галлюцинацию и начать «лечить» её требованием не выдумывать. Механизм разный: при потере середины информация была во входе, но получила мало внимания; при галлюцинации информации не было вовсе. Если перепутать, промпт станет строже, а пропуск останется. Проверка простая: спросите модель, есть ли нужный фрагмент во входе. Если да — это внимание, если нет — вероятностная выдумка.
Когда действительно пора отказаться от модели
Отказ оправдан, когда дефект воспроизводится на коротком контрольном входе, не связан с длиной или форматом и затрагивает факты, которых нет в предоставленных данных. В этом случае ни правка промпта, ни смена стратегии генерации не помогут: нужна другая архитектура работы — например, поиск по внешним источникам. Подробнее о таких подходах — в статье RAG и архитектуры LLM-приложений. Если же задача упирается в скорость и стоимость инференса, полезно посмотреть материал об аппаратном обеспечении для ИИ.
Что запомнить
- Дефект ответа — это указатель на этап конвейера, а не приговор модели.
- Сначала три проверки, потом одно вмешательство.
- Смена модели — последний шаг, а не первый.


