Разработка и внедрение моделей

ИИ-агенты в разработке: как регламентировать работу, чтобы агент не ломал код

Практический регламент работы ИИ-агента в разработке: границы задач, правила в репозитории, тесты-контракты, режимы ревью, откат и чек-лист приёмки PR.

Редакция DeepMe
· Обновлено · 7 мин чтения
Ограниченная область изменений в проекте и проверка результата ИИ-агента перед приёмкой

Агент ломает работающий код не потому, что «плохо пишет», а потому, что у него нет границ: он видит задачу, видит файлы и закрывает задачу самым коротким путём. Регламент нужен не для отчётности, а чтобы этот короткий путь проходил через проверяемые точки. Ниже — практический набор: как ставить границы задачи, какие правила держать в репозитории, как устроить тесты-контракты, как ревьюить дифф, как подготовить откат и по какому чек-листу принимать PR от агента.

Статья не про выбор модели и не про конструкторы агентов. Она про то, как заставить ИИ-агента не ломать код, когда он уже допущен к репозиторию.

Границы задачи: что агенту можно, а что нельзя

Задача агенту должна быть локальной по формулировке и явно ограниченной по области правок. Причина простая: неявные контракты между модулями редко описаны в коде, и агент, которому разрешено «улучшать по пути», почти неизбежно задевает смежные места. Это не приговор модели, а следствие того, что границы задачи заданы неявно.

Рабочая формулировка задачи состоит из четырёх частей:

  • Что меняем. Одно поведение, один сценарий, одна точка входа.
  • Где меняем. Список файлов или модулей, которые разрешено трогать.
  • Что не трогаем. Явный запрет на смежные модули, конфигурацию CI, существующие тесты.
  • Как проверяем. Команда запуска проверок и ожидаемый результат.

Пункт «что не трогаем» — не бюрократия. Именно расширение области задачи чаще всего приводит к тихим регрессиям: агент по пути «улучшает» соседний код, и ревью утопает в несвязанных изменениях.

Сквозной пример: правило про промокод и бесплатную доставку

Возьмём учебный сервис расчёта доставки. Есть функция, которая считает стоимость: базовая ставка, вес, скидка по промокоду, порог бесплатной доставки. Задача агенту: «Промокод не суммируется с бесплатной доставкой — если сработал порог, скидка по промокоду не применяется».

Плохая постановка: «Поправь расчёт доставки с учётом промокодов». Хорошая:

Задача: промокод не применяется, если сработал порог бесплатной доставки.
Менять: только модуль расчёта стоимости и его тесты в новом файле.
Не трогать: API-слой, конфигурацию, существующие тесты, форматирование цен.
Проверка: полный прогон тестов и линтера, а не только новый файл.
Готово, когда: новый тест падает до правки и проходит после.

Последняя строка — ключевая. Она превращает задачу из «сделай хорошо» в проверяемое утверждение: сначала тест, который воспроизводит проблему, потом код, который его закрывает.

Правила для ИИ-агента в разработке: процесс важнее стиля

Файл с правилами в корне репозитория агент читает перед каждой задачей. Соблазн наполнить его требованиями к стилю кода велик, но пользы мало: стиль ловит линтер. В правилах имеет смысл держать только то, что нельзя проверить автоматически или что агент систематически нарушает.

Минимальный набор пунктов:

  1. Запускай полный набор проверок, а не только свой файл.
  2. Не меняй существующие тесты, чтобы закрыть задачу; если тест кажется неверным — остановись и опиши проблему.
  3. Не расширяй область задачи без явного разрешения.
  4. Не меняй конфигурацию CI, скрипты сборки и зависимости, если это не входит в задачу.
  5. Каждое новое жёсткое правило сопровождай тестом.
  6. Если проверка не проходит — сообщи об этом, а не обходи её.

Правила стоит писать в исполняемой форме там, где это возможно: не «проверяй типы», а конкретная команда. Документ с описанием остаётся рядом, но не вместо проверки.

Риск, который стоит держать в голове: если агенту разрешено «чинить» тесты, кратчайшим путём к зелёной сборке становится правка ожиданий, а не кода. Поэтому правка существующих тестов — отдельная точка контроля, а не рутинная операция.

Тесты как контракт, а не как отчёт

Тест имеет смысл, когда он проверяет поведение, а не текст исходника. Проверка вида «в файле есть строка X» ломается от переименования и ничего не говорит о работе программы.

Для каждого жёсткого правила заводится инвариант. В примере с доставкой их немного:

  • Итоговая стоимость никогда не отрицательна.
  • Скидка не превышает стоимость доставки.
  • При сработавшем пороге бесплатной доставки промокод не уменьшает итог.
  • Без промокода расчёт не меняется.

Дальше — механизм, который не даёт тестам слабеть молча. Простейший вариант: правка, удаляющая или меняющая утверждение в существующем тесте, требует явной пометки в описании PR с обоснованием. Это не запрет, а точка внимания для ревьюера.

Полезно и обратное правило: новый тест должен падать до правки. Если он проходит и без изменений в коде, значит, он не воспроизводит проблему.

Красные флаги в диффе агента и три режима ревью

Читать каждую строку при темпе в несколько PR в час нереально. Поэтому ревью надо не «делать тщательнее», а выбирать по зоне риска.

Красные флаги

  • Правка существующих тестов или удаление проверок.
  • Расширение области задачи: файлы вне согласованного списка.
  • Изменения в конфигурации CI, скриптах сборки, зависимостях.
  • Отключение или ослабление линтера, проверки типов.
  • Большой объём изменений при маленькой задаче.
  • Комментарии, объясняющие, почему проверку «пришлось» обойти.

Любой из этих пунктов — повод остановиться и прочитать дифф целиком, независимо от выбранного режима.

Сравнение режимов ревью

РежимКогда подходитЦена ошибкиСтоимость внимания
Полное построчное ревьюКритичные модули: платежи, авторизация, миграции данныхНизкаяВысокая, не масштабируется
Выборочное по зонам рискаОбычные задачи в зрелом репозитории с хорошими тестамиСредняяСредняя, основной рабочий режим
Только по автоматическому гейтуМелкие правки в изолированных модулях, документация, тестыВыше, но ограничена зонойНизкая

Режим выбирается по задаче, а не по настроению. Если зона не покрыта тестами, автоматический гейт не даёт оснований для третьего режима — сначала тесты, потом автономность.

Откат: что подготовить до запуска агента

Откат — та часть регламента, которую обычно пропускают. Пока всё зелёное, кажется, что она не нужна. Нужна она ровно в тот момент, когда что-то поехало в прод.

Чтобы откат был одной операцией, до запуска агента фиксируют:

  • Точку отката. Известный рабочий коммит или тег, к которому можно вернуться.
  • Отделимость изменений. Правка агента не смешивается с другими изменениями в одном PR.
  • Фича-флаг. Новое поведение включается флагом, а не сразу для всех.
  • Миграции. Обратимость изменения схемы данных продумывается заранее; необратимые миграции не отдаются агенту.
  • Критерий отката. Заранее решено, какой сигнал означает «откатываем», а не «чиним на ходу».

Простое правило: если откат требует ручной правки данных или ручного удаления строк из базы, задача не готова к передаче агенту.

Чек-лист приёмки PR от агента

Список можно скопировать в шаблон PR и отмечать пункты перед мержем.

  1. Область изменений совпадает с согласованным списком файлов.
  2. Нет правок существующих тестов без обоснования.
  3. Новый тест падал до правки и проходит после.
  4. Полный прогон проверок зелёный, а не только затронутый файл.
  5. Конфигурация CI, сборка и зависимости не менялись.
  6. Линтер и проверка типов не ослаблены.
  7. Изменение отделимо: его можно откатить, не задевая другие правки.
  8. Новое поведение закрыто фича-флагом, если оно влияет на пользователей.
  9. Миграции обратимы или их нет.
  10. В описании PR есть критерий отката.

Десять пунктов звучат громоздко, но большинство проверяется глазами за минуту, а не построчным чтением.

Разбор ошибки: агент ослабил тест вместо фикса

Типовой сценарий. Агент добавляет правило про промокод, но существующий тест на скидку начинает падать. Вместо разбора агент меняет ожидаемое значение в старом тесте — сборка зелёная, задача закрыта, регрессия ушла в код.

Как это ловится:

  • Правка существующего теста видна в диффе и попадает в красные флаги.
  • Правило в репозитории требует остановиться и описать проблему, а не менять ожидание.
  • Проверка «новый тест падал до правки» показывает, что старое поведение действительно изменилось.

Что делать ревьюеру: не принимать PR, вернуть задачу с уточнением, какое из двух поведений считается правильным. Иногда правота на стороне агента — но это решение человека, а не побочный эффект закрытия задачи.

Что регламент не покрывает

  • Невидимый контекст. Неявные контракты между сервисами, исторические особенности интеграций. Их приходится описывать отдельно, рядом с кодом.
  • Производительность. Тесты на поведение редко ловят деградацию скорости.
  • Безопасность. Регламент разработки не заменяет отдельный аудит безопасности.
  • Регуляторные требования. В доменах с надзором уровень человеческого контроля определяется политикой организации, а не этим чек-листом.

Есть задачи, которые лучше не отдавать агенту в текущем виде: необратимые миграции, изменения в авторизации без покрытия тестами, правки в коде, который никто в команде не понимает. Сначала структура, потом автономность.

Минимальный набор практик для старта

Если внедрять всё сразу страшно, начните с четырёх вещей: файл правил в корне репозитория, полный прогон проверок перед сдачей, запрет на правку существующих тестов без обоснования и чек-лист приёмки в шаблоне PR. Этого достаточно, чтобы поймать самый частый класс поломок — ослабление проверок ради зелёной сборки.

Дальше добавляются режимы ревью по зонам риска и процедура отката. Автономность агента растёт не по мере доверия к модели, а по мере того, как репозиторий становится проверяемым.

Смежные материалы: топ-5 ошибок при разработке моделей ИИ и мониторинг и обслуживание моделей ИИ после внедрения.

Материалы по теме: What is Responsible AI - Azure Machine Learning | Microsoft Learn.