Новости · Исследования

Оценка по FLOPs ошибается в разы: Dharma-AI предсказывает время дообучения по конфигу задачи

На 272 реальных задачах SFT на H200 формула по FLOPs объяснила лишь малую часть разброса длительности, а обученный CatBoost-регрессор по конфигурации до запуска дал среднюю ошибку 1,71 часа.

Редакция DeepMe
· 3 мин чтения
Стопка бумажных карточек, керамический шар и лента на столе, часть карточек сдвинута в сторону.
Иллюстрация к теме новости
Первоисточник: Huawei Computing Systems Lab на Hugging FaceМатериал источника от 18.11.2026

Адаптация и понятное объяснение для начинающих. Заявления приведены по материалу источника.

Расчёт «столько-то FLOPs, значит столько-то часов» на практике разваливается: задача, которой аналитика обещала девять часов, заканчивается на следующий день. Dharma-AI разобрала, насколько велик разрыв, на 272 реальных задачах supervised fine-tuning (SFT — дообучение модели на парах «вход — правильный ответ») из своего производственного пула на NVIDIA H200. Суммарно это около 7 382 GPU-часов.

Результат превью будущей статьи: привычная оценка по FLOPs объясняет лишь малую долю наблюдённого разброса — R² = 0,31 при средней абсолютной ошибке 12,41 часа. Обученный на исторических запусках CatBoost-регрессор, который видит только конфигурацию задачи до её запуска, в 5-кратной кросс-валидации вышел на R² = 0,98, MAE 1,71 часа и медианную ошибку 0,51 часа. Это заявленные авторами цифры, а не независимая проверка.

Почему формула не сходится

Базовая оценка считает только цикл оптимизации: примерно 6·P·D операций, где P — число параметров, D — число токенов обучения, делённое на производительность GPU с поправкой на MFU (Model FLOPs Utilization — доля пиковой производительности, которую реально выжимает обучение, обычно 30–60%). Но задача — не только цикл. До первого шага идут настройка окружения, скачивание и загрузка модели, токенизация; во время обучения — периодические оценки и выгрузка чекпоинтов; в конце — сохранение модели. На общем кластере всё это конкурирует за сеть и дисковый ввод-вывод с другими задачами.

Авторы проверили и более сложную аналитику: расширенную реализацию Calculon, модели производительности обучения LLM, с поддержкой LoRA, grouped-query attention и bfloat16. Её оценки всё равно покрывали медианно лишь 11% фактического времени. Это не упрёк инструменту — он создавался для оценки шага обучения, — а иллюстрация того, сколько времени уходит вне самого шага.

Что видит предиктор

Модель учится на признаках, известных до выделения GPU: гиперпараметрах, размерах датасетов, идентификаторах моделей, числе GPU. К ним добавлены производные величины — общий объём данных, прошедших через все циклы оценки, число и размер сохраняемых чекпоинтов, объём токенов на GPU. Сама FLOP-оценка при MFU = 0,45 тоже подаётся как признак, чтобы регрессор отталкивался от неё и учил поправки.

По важности признаков на первом месте оказался суммарный объём данных оценки, дальше — число обучаемых параметров, доля батча на оценку, общее число параметров и произведение числа GPU на долю батча обучения. Авторы оговаривают: важность признака — не причинность, и больший вклад числа GPU в предсказание отражает лишь то, что в их данных крупные задачи получали больше карт.

Где точность заканчивается

До 60 часов медианная ошибка держится около часа или меньше; выше — растёт, но таких запусков всего 13, и авторы читают это как нехватку данных. На фиксированной отложенной выборке в 20% MAE снижалась с 1,63 до 1,50 часа при переходе от 85% к 100% обучающей части — плато не видно.

Ограничения существенные. В выборке только SFT — без RLHF, DPO и других стратегий выравнивания. Все запуски на H200, поэтому модель откалибрована под эту инфраструктуру и без переобучения не переносится на другие поколения GPU. Для смешанных пулов понадобятся описания железа: пропускная способность, память, топология связей. Переносится сам метод — признаки, учитывающие накладные расходы, отбор с оглядкой на мультиколлинеарность и протокол сравнения; полные формулы и гиперпараметры авторы обещают в статье на arXiv.

Практический смысл для планирования простой: если вы оцениваете длительность дообучения только по FLOPs, закладывайте запас на оценку, чекпоинты и очередь — или собирайте собственную статистику по прошлым запускам. Подробнее об инфраструктуре для таких задач — в материале об инфраструктуре для ИИ-проектов.