Разработка и внедрение моделей

ИИ в разработке и управлении проектами: как проверить оценку задач на своём бэклоге

Как встроить ИИ в декомпозицию задач, черновик критериев приёмки и оценку в SP: протокол проверки на закрытых задачах по MAE и доле переоткрытых задач.

Редакция DeepMe
· Обновлено · 5 мин чтения
Три стопки карточек, керамические кубики и ступенчатая шкала с шаром, соединённые пунктирной лентой на столе.

ИИ полезен на входе в разработку, пока задача ещё не взята в работу: разложить её на шаги, набросать критерии приёмки, предложить оценку в story points или часах. Но пользу нужно доказать на своём бэклоге, а не на демо. Ниже — протокол, который занимает несколько часов и даёт два числа: среднюю абсолютную ошибку (MAE) оценки и долю задач, переоткрытых после старта.

Границы материала: подготовка задач, а не написание кода, не выбор IDE-ассистента, не приёмка сгенерированного кода и не сравнение моделей по бенчмаркам. Вопрос один: где ИИ ускоряет подготовку задач и когда его оценку нельзя принимать.

Где ИИ помогает, а где подменяет решение

Разделите три артефакта — у каждого своя цена ошибки.

  • Декомпозиция. Черновик списка шагов и зависимостей. Ошибка дешёвая: лишний шаг убирается на груминге.
  • Критерии приёмки. Черновик проверяемых условий «готово». Ошибка дороже: неполный критерий превращается в переоткрытую задачу.
  • Оценка в SP или часах. Самая рискованная часть: число выглядит авторитетно, хотя построено на тексте описания, а не на знании кодовой базы.

Общее правило: ИИ делает черновик, человек утверждает. Утверждающий — тот, кто отвечает за результат задачи, а не тот, кто быстрее всех нажал «принять».

Три артефакта и разные правила проверки

Декомпозиция

Просите шаги, а не сроки. Проверяйте, нет ли выдуманных зависимостей: ИИ по описанию легко «додумывает» смежную команду или сервис, которых в задаче нет. Каждый шаг должен опираться на фразу из описания или на известный команде компонент.

Критерии приёмки

Хороший критерий можно проверить без спора: он описывает наблюдаемый результат. В исследовании о генерации user stories модели давали сопоставимые с людьми результаты по охвату и стилю, но реже соответствовали критериям качества приёмки, а оценка семантического качества работала надёжнее при ясных критериях оценки. Практический вывод: давайте ИИ свой шаблон критериев и проверяйте каждый пункт на проверяемость.

Оценка в SP или часах

Оценка в story points относительна и зависит от проекта, поэтому переносить чужую шкалу бессмысленно. В исследовании по оценке story points большие языковые модели без обучающих примеров предсказывали оценку лучше, чем обученные на части данных модели, а несколько примеров из того же проекта улучшали результат. Это аргумент за few-shot на ваших задачах, но не гарантия точности на вашем бэклоге.

Как собрать few-shot примеры из своего бэклога

  1. Возьмите 10–15 закрытых задач за последние спринты. Нужны те, где есть фактически потраченное время или подтверждённая оценка и известно, переоткрывалась ли задача.
  2. Очистите описания от имён, ссылок на внутренние системы и персональных данных, если отправляете текст во внешний сервис. Проверьте политику компании.
  3. Отберите 3–5 примеров как образцы: короткое описание, оценка команды, факт. Остальные оставьте для проверки.
  4. Зафиксируйте формулировку запроса и шкалу. Меняя промпт между прогонами, вы сравниваете промпты, а не качество оценки.

Сравнительные суждения («какая из двух задач больше») в упомянутом исследовании не оказались для моделей проще прямых оценок, но как примеры помогали. Если команде легче сравнивать пары, чем ставить баллы, это допустимый способ собрать образцы.

Протокол проверки на 10–15 закрытых задачах

Цель — не доказать, что ИИ хорош, а понять, где он ошибается и насколько. Порядок:

  1. Два прогона. Zero-shot и few-shot по 3–5 примерам. Запросы сохраните.
  2. Сверка с фактом. Для каждой задачи посчитайте абсолютную разницу между оценкой ИИ и фактическими трудозатратами в одной шкале. Среднее по задачам — это MAE.
  3. Доля переоткрытых. Отметьте задачи, которые после старта вернулись на доработку из-за неполных критериев или недооценки. Сравните с обычным спринтом, если такие данные есть.
  4. Разбор расхождений. Выпишите задачи с наибольшей ошибкой и найдите причину: скрытая зависимость, неясное описание, незнакомый компонент.

MAE ниже — не автоматическое «внедряем». Смотрите, не растёт ли доля переоткрытых задач: быстрая, но неверная оценка сдвигает проблемы в спринт.

Учебный пример: 12 задач и разбор расхождений

Числа ниже — учебная иллюстрация метода, а не результат исследования и не данные какой-либо компании. Подставьте свои.

Допустим, есть 12 закрытых задач с фактическими часами. Оценка ИИ в zero-shot и few-shot сравнивается с фактом.

ЗадачаФакт, чИИ zero-shot, чИИ few-shot, чПричина расхождения
1645—
21068скрытая зависимость
3343—
416812незнакомый компонент
5555—
6857неясное описание
7232—
812710скрытая зависимость
9444—
10958неясное описание
11766—
1214911незнакомый компонент

Что видно на этом примере: few-shot ближе к факту, но систематически занижает задачи со скрытыми зависимостями и незнакомыми компонентами. Значит, правило отсечения должно срабатывать именно на таких задачах, а не на всех подряд.

Правило отсечения и роль утверждающего

Задайте порог заранее. Например: если расхождение между оценкой ИИ и медианой команды превышает условленный порог, оценка ИИ не принимается и задача уходит на обсуждение. Отдельно — задачи, затрагивающие смежные команды, безопасность или внешние интеграции: для них оценка ИИ только справочная.

Утверждающий фиксирует в задаче, что принято от ИИ, что изменено и почему. Это не бюрократия: без такой записи через месяц невозможно понять, откуда взялась оценка.

Чек-лист перед передачей черновика ИИ в спринт

  • Декомпозиция не содержит зависимостей, которых нет в описании или в известных компонентах.
  • Каждый критерий приёмки проверяем без спора о трактовке.
  • Оценка сверена с порогом и не противоречит медиане команды без объяснения.
  • Для задач со смежными командами и безопасностью оценка ИИ помечена как справочная.
  • Запрос и версия шкалы сохранены для повторного прогона.
  • Утверждающий указан поимённо.

Типичные ошибки

  • Сравнивать оценки ИИ в SP с часами без пересчёта в одну шкалу.
  • Менять промпт между прогонами и делать вывод о модели.
  • Принимать оценку ИИ для задач с неизвестными зависимостями только потому, что число выглядит правдоподобно.
  • Отправлять во внешний сервис описания с внутренними данными без проверки политики.
  • Считать MAE единственной метрикой и не смотреть на переоткрытые задачи.

Смежные темы: ИИ-агенты в разработке, ИИ в разработке и миграции legacy-кода, ИИ-агенты и стандарты. Первичные источники: исследование оценки story points с помощью LLM и исследование генерации и оценки user stories.