Нейросети в действии (кейсы)

Автономный агент, который сам правит поведение моделей: воспроизводимый кейс

Воспроизводимый кейс: автономный агент на Claude находит отклонения в поведении моделей, вносит по одной правке за итерацию, проверяет на регрессе и эскалирует риски.

Редакция DeepMe
· Обновлено · 7 мин чтения
Три бумажные карточки на столе, две соединены стрелкой, третья в стороне; рядом керамический шар и лента через ступеньку.

Автономный агент, который сам правит поведение подключённых моделей, — это не «модель, которая стала умнее», а цикл: зафиксировать отклонение, выдвинуть гипотезу, внести одну минимальную правку, прогнать регрессионный набор и записать решение в журнал. Если правка рискованная — остановиться и передать человеку. Ниже — воспроизводимый учебный кейс такой петли на базе Claude и каталог правок с ценой каждой.

Важная оговорка: все числа в кейсе учебные и приведены для иллюстрации механики, а не как результат измерений. Их нужно заменить своими, прежде чем делать выводы.

Что считаем отклонением и как его зафиксировать

Правка без зафиксированного отклонения — это вкусовщина. Поэтому первый шаг агента — не «улучшить», а «описать расхождение в измеримых терминах». Отклонение должно иметь три атрибута:

  • Наблюдаемый признак. Например, доля ответов, не проходящих схему формата, или частота срабатывания порога маршрутизации на конкретном классе запросов.
  • Базу сравнения. Значение на эталонном прогоне, с которым сравнивается текущее поведение.
  • Границу допустимого. Порог, за которым расхождение считается проблемой, а не шумом.

В учебном кейсе возьмём подключённую модель-классификатор, которая возвращает ответ в структурированном виде. На эталонном наборе доля ответов, не прошедших проверку схемы, была условно 2%, а на новом потоке запросов выросла до 11%. Это и есть отклонение: признак — доля невалидных ответов, база — 2%, граница — например, 5%. Агент не «чинит модель», он формулирует наблюдение и переходит к гипотезам.

Практический совет: храните эталонный прогон как артефакт с датой и версией входных данных. Без этого «база» расползётся, и любая правка будет казаться улучшением.

Устройство кейса: агент, инструменты, регрессионный набор

Кейс собирается из четырёх частей. Агент на базе Claude получает роль «инженера по поведению моделей» и работает не в чате, а через инструменты.

  1. Инструмент диагностики. Прогоняет набор запросов через подключённую модель и возвращает метрики: долю невалидных ответов, распределение по маршрутам, срабатывания порога.
  2. Инструмент правки. Умеет менять ровно один параметр за вызов: текст промпта, набор few-shot примеров, правило маршрутизации или числовой порог.
  3. Инструмент регресса. Прогоняет фиксированный набор кейсов и сравнивает результат с базой.
  4. Журнал. Хранит наблюдение, гипотезу, правку, результат регресса и решение.

Инструменты удобно подключать через MCP. В спецификации MCP от 2026-07-28 описаны изменения, которые стоит учитывать при проектировании: ядро протокола стало stateless, а состояние между вызовами предлагается передавать явным handle, который модель видит и проносит через инструменты. Для нашего кейса это полезно: агент может держать идентификатор итерации и передавать его между диагностикой, правкой и регрессом, не полагаясь на скрытое состояние транспорта. Детали спецификации стоит сверять по первоисточнику — анонс MCP 2026-07-28.

Регрессионный набор в кейсе — это небольшой фиксированный список запросов с ожидаемыми свойствами ответа: проходит ли схему, какой маршрут выбран, укладывается ли в порог. Он не обязан быть большим, но обязан быть стабильным: одни и те же входы, одни и те же проверки.

Каталог правок и их цена

Главная ценность кейса — не в том, что агент «что-то меняет», а в том, что он выбирает правку осознанно. Ниже каталог из четырёх типов правок с ценой по трём осям: стоимость применения, риск регресса и обратимость.

ПравкаЧто меняетЦенаРиск регрессаОбратимость
ПромптФормулировку инструкцииНизкаяСредний: легко задеть другие сценарииВысокая
Few-shotНабор примеровСредняя: растёт объём контекстаНиже, если примеры узкиеВысокая
МаршрутизацияРаспределение запросов между моделями или путямиСредняяВысокий: меняется нагрузка и качество на других классахСредняя
ПорогЧисло срабатыванияНизкаяСредний: сдвиг метрики без изменения сутиВысокая

Промпт

Самая дешёвая правка и первая, которую стоит пробовать, если отклонение связано с форматом ответа. Цена — один изменённый фрагмент инструкции. Риск в том, что формулировка, исправившая один класс запросов, может ухудшить другой. Поэтому промпт-правка всегда проверяется на полном регрессионном наборе, а не только на проблемных кейсах.

Few-shot

Дороже по токенам, но стабильнее: примеры задают образец поведения нагляднее, чем инструкция. В кейсе few-shot уместен, когда модель «понимает» требование, но воспроизводит формат нестабильно. Цена — рост объёма контекста на каждом запросе, поэтому примеры должны быть короткими и точными.

Маршрутизация

Меняет то, какая модель или путь обрабатывает запрос. Это самая «тяжёлая» правка: она влияет на распределение нагрузки и на качество сразу в нескольких классах запросов. В учебном кейсе маршрутизация — кандидат на эскалацию, а не на самостоятельное применение агентом.

Порог

Числовая правка, которая сдвигает момент срабатывания. Она дешёвая и обратимая, но коварная: можно «починить» метрику, не изменив поведение по сути. Если агент снижает порог, чтобы уменьшить долю невалидных ответов, нужно проверить, не выросла ли доля отказов или ложных срабатываний.

Правило одной правки за итерацию

Правило простое: за одну итерацию агент вносит ровно одну правку. Причина не в бюрократии, а в атрибуции. Если смешать изменение промпта и порога, а регресс покажет улучшение, вы не узнаете, что именно сработало. Хуже — если улучшение дал один компонент, а второй незаметно ухудшил другой класс запросов, смешанная правка это замаскирует.

Правило даёт ещё один эффект: журнал становится читаемым. Каждая запись — это один вопрос «помогла ли эта правка?» с однозначным ответом. При смешивании журнал превращается в набор догадок.

Если агент не может проверить эффект одной правки, он не должен вносить несколько. Это ограничение полезнее, чем кажется: оно отсекает «пакетные улучшения», которые невозможно воспроизвести.

Регрессионный набор как условие приёмки

Правка принимается только тогда, когда регрессионный набор пройден. Минимальные требования к набору:

  • Базовая линия зафиксирована. Результат до правки сохранён с датой и версией набора.
  • Есть проблемные кейсы. Те, на которых проявилось отклонение, — иначе непонятно, что правка вообще что-то исправила.
  • Есть контрольные кейсы. Те, что раньше работали, — чтобы поймать регресс.
  • Определено, что считать провалом. Например: доля невалидных ответов на проблемных кейсах не снизилась или выросла на контрольных.

Если правка улучшила проблемные кейсы, но ухудшила контрольные, она не принимается — даже если общая метрика выглядит лучше. Это ключевое отличие от «оптимизации среднего».

Журнал решений агента: какие поля вести

Журнал — не отчётность ради отчётности, а инструмент воспроизводимости. Минимальный набор полей:

  1. Наблюдение. Что именно зафиксировано, с числами и ссылкой на прогон.
  2. Гипотеза. Почему агент считает, что правка поможет.
  3. Правка. Тип из каталога и конкретное изменение.
  4. Результат регресса. Проблемные и контрольные кейсы, сравнение с базой.
  5. Решение. Принято, отклонено или эскалировано — с причиной.

Пятое поле важнее остальных: оно превращает журнал из лога в историю решений. По нему видно, какие гипотезы агент проверял и какие правки оказались ложными.

Когда агент обязан эскалировать человеку

Автономность не означает «без границ». В кейсе задаются явные критерии эскалации:

  • Правка меняет маршрутизацию. Влияние на распределение запросов слишком широкое для самостоятельного решения.
  • Регресс неоднозначен. Улучшение на проблемных кейсах сопровождается ухудшением на контрольных.
  • Правка необратима или дорога. Например, требует переобучения или смены модели.
  • Отклонение не воспроизводится. Если диагностика даёт разные результаты на одинаковых входах, менять что-либо рано.

Эскалация — это не провал агента, а штатный исход. Хороший журнал показывает, что агент дошёл до границы и остановился, а не продавил правку.

Разбор типичной ошибки: смешанные правки и ложный успех

Учебный пример ошибки. Агент видит рост невалидных ответов и в одной итерации меняет формулировку промпта, добавляет два few-shot примера и снижает порог. Регресс показывает снижение доли невалидных ответов — успех. Но на контрольных кейсах вырастает доля отказов, а маршрутизация начинает отправлять больше запросов на более слабую модель. Причина в том, что три правки наложились, и атрибутировать эффект невозможно.

Правильное поведение: разделить на три итерации. Сначала промпт — проверить регресс. Если недостаточно — few-shot. Порог трогать последним и отдельно, потому что он меняет метрику, а не поведение. Такой порядок даёт не только атрибуцию, но и понимание, какая правка реально нужна.

Чек-лист запуска кейса у себя

  1. Зафиксируйте отклонение в измеримых терминах и сохраните базовую линию.
  2. Соберите регрессионный набор: проблемные и контрольные кейсы, критерий провала.
  3. Опишите каталог правок с ценой и риском для вашего случая.
  4. Введите правило одной правки за итерацию.
  5. Настройте журнал с полем «решение».
  6. Определите критерии эскалации до первого запуска, а не после.
  7. Прогоните кейс на учебных данных и только потом — на реальных.

Смежные материалы по теме: нейросети в действии (кейсы) и нейросети в безопасности: распознавание аномалий — там полезные примеры фиксации отклонений, хотя контекст другой.

Ограничение подхода: он не заменяет экспертизу в предметной области и не гарантирует, что регрессионный набор покрывает все важные сценарии. Чем шире поведение модели, тем осторожнее стоит расширять автономность агента.