Обучение и разработка ИИ

MLOps: упаковка и деплой моделей

Практический гайд по упаковке ML-моделей: состав артефакта, форматы, манифест, реестр, передача dev→staging→prod и чек-лист готовности.

Редакция DeepMe
· Обновлено · 6 мин чтения
Бумажный конверт с карточками, керамическая коробочка, кубики-ступени и лента, связывающая предметы на столе.

Упаковка модели — это превращение обученной модели в воспроизводимый артефакт, который можно передать другой команде или среде и получить тот же результат инференса. В отличие от обучения и деплоя одной модели, здесь важны не метрики, а целостность поставки: что именно лежит в артефакте, какие зависимости нужны, как проверить совместимость и как откатиться.

Короткий ответ: артефакт модели должен содержать веса, препроцессинг, схему входов, зафиксированные зависимости и метаданные с версией и хэшем. Дальше он проходит через реестр моделей и последовательность сред dev → staging → prod с проверками на каждом шаге.

Что такое упаковка модели и чем она отличается от обучения и деплоя

Обучение отвечает на вопрос «какая модель лучше по метрикам». Деплой — «как модель отвечает на запросы». Упаковка находится между ними и отвечает на вопрос «можно ли довезти эту модель до другой среды без потери поведения».

Практическая разница в том, что при упаковке вы фиксируете всё, что влияет на предсказание, кроме самих весов: порядок преобразования признаков, версии библиотек, формат входа и выхода. Если этого нет, модель формально работает, но результат может отличаться от ожидаемого.

Из чего состоит артефакт модели

Минимальный набор компонентов, который стоит закладывать сразу:

  • Веса модели — сериализованные параметры в выбранном формате.
  • Препроцессинг — код или сохранённые объекты преобразований (скейлеры, энкодеры, словари категорий).
  • Схема входов и выходов — типы, обязательность полей, допустимые диапазоны, формат ответа.
  • Зависимости — зафиксированные версии библиотек, а не «примерно последние».
  • Метаданные — версия модели, хэш артефакта, дата сборки, ссылка на данные обучения.

Отдельно стоит хранить контракт инференса: как сервис принимает данные, что возвращает при ошибке, какая версия API используется. Это часть артефакта, а не деталь реализации сервиса.

Форматы упаковки: критерии выбора

Универсального формата нет. Выбор зависит от фреймворка, требований к переносимости и того, насколько важна поддержка препроцессинга внутри артефакта.

ФорматКогда уместенОграничения
pickle / joblibБыстрый старт внутри Python-стека, модели scikit-learnПривязка к версиям библиотек, вопросы безопасности при загрузке недоверенных файлов
ONNXПереносимость между рантаймами, инференс вне исходного фреймворкаЧасть операций и кастомный препроцессинг могут не конвертироваться без потерь — проверяйте на своей модели
TorchScriptМодели PyTorch, запуск без Python-кода моделиНужно убедиться, что модель корректно трассируется или скриптится
SavedModelМодели TensorFlow/Keras с сигнатурамиПривязка к экосистеме TensorFlow

Критерии выбора простые: поддержка нужного фреймворка, переносимость в целевую среду, сохранение препроцессинга, размер артефакта и наличие инструментов проверки. Если модель должна работать в среде без Python, формат с внешним рантаймом обычно предпочтительнее.

Манифест модели: версия, хэш, окружение, схема инференса

Манифест — это короткий файл, который описывает артефакт и позволяет проверить его перед запуском. В нём достаточно полей: идентификатор и версия модели, хэш артефакта, версия схемы входов, список зависимостей с версиями, дата сборки и ссылка на источник данных обучения.

Хэш нужен не для красоты: он позволяет убедиться, что в staging и prod лежит один и тот же файл, а не две похожие сборки. Схема инференса в манифесте помогает сервису отклонять некорректные запросы до вызова модели.

Реестр моделей: зачем нужен и как использовать стадии

Реестр моделей — это каталог версий с историей переходов между стадиями. В MLflow Model Registry модель регистрируется как именованная сущность, а её версии можно помечать и переводить между стадиями. Терминология и поведение стадий отличаются между версиями MLflow (в новых версиях акцент смещён на алиасы и теги), поэтому перед внедрением сверьтесь с документацией вашей версии. Реестр удобен, когда над моделью работают несколько человек и нужно понимать, какая версия сейчас в продакшене.

Реестр не заменяет хранилище артефактов: сами файлы обычно лежат в объектном хранилище, а реестр хранит метаданные и ссылки. Сравнение подходов к хранению:

  • Реестр моделей — когда важны стадии, история версий и совместная работа команды.
  • S3 + манифест — когда нужен простой контроль и минимум инфраструктуры.
  • git-lfs — когда артефакты небольшие и хочется держать их рядом с кодом.

Подробнее о работе с реестром и хранилищем артефактов можно посмотреть в примере конфигурации MLflow с PostgreSQL и Minio. Там показано, как разделить tracking-хранилище и объектное хранилище артефактов — это полезная схема, если экспериментами пользуются несколько машин.

Передача между средами: dev → staging → prod

Передача модели — это не копирование файла, а последовательность проверок. Рабочая схема выглядит так:

  1. Dev. Модель упакована, манифест заполнен, локальный smoke-тест на нескольких примерах проходит.
  2. Staging. Артефакт развёрнут в окружении, близком к продакшену. Проверяются версии зависимостей, схема входов и поведение на эталонном наборе запросов.
  3. Prod. Версия отмечена в реестре, включён мониторинг, зафиксирован план отката на предыдущую версию.

На каждом шаге стоит сравнивать хэш артефакта с манифестом и прогонять одинаковый набор тестовых запросов. Если результаты расходятся, проблема чаще всего в окружении, а не в модели.

Типичные ошибки

Dependency drift

Самая частая причина расхождения: модель обучалась на одной версии библиотеки, а в продакшене стоит другая. Поведение может измениться незаметно. Лечится lock-файлом с точными версиями и smoke-тестом на этапе упаковки, а не после деплоя.

Потеря препроцессинга

Если в артефакт попали только веса, а преобразование признаков осталось в ноутбуке, сервис будет получать данные в другом виде. Препроцессинг должен быть частью артефакта или явно описан в контракте инференса.

Несовместимая схема входов

Изменение типа поля или порядка признаков ломает предсказания без явной ошибки. Схема в манифесте и валидация на входе сервиса помогают поймать это до продакшена.

Мини-пример: упаковка и регистрация модели

Ниже — учебная схема без привязки к конкретной версии библиотек. Она показывает последовательность шагов, а не готовый к запуску код.

# 1. Обучили модель и препроцессинг
model, preprocessor = train(...)

# 2. Сохранили артефакт вместе с препроцессингом
save_artifact(model, preprocessor, path="model_artifact/")

# 3. Зафиксировали зависимости и посчитали хэш
write_lockfile("model_artifact/requirements.lock")
write_manifest("model_artifact/manifest.json", version="<версия>")

# 4. Зарегистрировали версию в реестре
register_model(name="demand_forecast", source="model_artifact/")

# 5. Перевели в staging и прогнали smoke-тест
promote("demand_forecast", version="<версия>", stage="staging")
run_smoke_tests("demand_forecast", version="<версия>")

Смысл примера в том, что упаковка и регистрация — это отдельные шаги с проверками, а не побочный эффект обучения. Если smoke-тест падает, версия не идёт дальше staging.

Чек-лист готовности артефакта к дистрибуции

  • Веса и препроцессинг лежат в одном артефакте.
  • Зависимости зафиксированы с точными версиями.
  • Манифест содержит версию, хэш, схему входов и дату сборки.
  • Smoke-тест на эталонных примерах проходит в чистом окружении.
  • Версия зарегистрирована в реестре и имеет стадию или алиас.
  • Есть план отката на предыдущую версию.
  • Контракт инференса описывает формат ошибок и версию API.

Ограничения подхода

Упаковка не решает проблему дрейфа данных и не заменяет мониторинг после деплоя. Она также не гарантирует, что модель останется корректной при изменении внешних условий. Кроме того, выбор формата может быть ограничен инфраструктурой: не всегда есть возможность запустить нужный рантайм.

Если команда небольшая, полный реестр моделей может быть избыточным — иногда достаточно объектного хранилища с манифестом. Начинать стоит с минимального набора: артефакт, манифест, lock-файл и smoke-тест.

Для понимания того, как модель обучалась и какие метрики важны до упаковки, полезны материалы о повышении точности модели и об обучении на реальных данных. А вопросы воспроизводимости окружений пересекаются с темой работы с большими данными.

Технические детали сериализации стоит сверять с документацией фреймворка: например, раздел о сериализации в PyTorch описывает сохранение state dict и параметры загрузки, которые влияют на совместимость артефактов.