Инструменты и ресурсы

Оркестрация ИИ-инфраструктуры: какие серверы отдать под управление, а какие оставить руками

Практическое руководство: как по списку серверов решить, что перевести под оркестратор ИИ-инфраструктуры, а что оставить руками, и зафиксировать правило в реестре.

Редакция DeepMe
· Обновлено · 6 мин чтения
Восемь керамических кубиков на столе: четыре с медными вставками связаны лентой, остальные отдельно, один в стороне.

Короткий ответ: под оркестратор отдавайте серверы, которые часто меняются, взаимозаменяемы и допускают автоматическое пересоздание; руками держите то, что уникально, редко меняется или простой чего дороже ошибки автоматики. Ниже — как принять это решение по списку серверов и зафиксировать его в одностраничном реестре.

Речь пойдёт о слое управления железом для ИИ-нагрузок: размещение подов на GPU-нодах, taints/tolerations и node affinity, health-check, автоскейл пула нод по длине очереди, graceful drain с прогревом. Это не обзор агентных фреймворков и не протоколы подключения моделей к данным — здесь только вопрос «кто управляет сервером».

Что входит в слой управления железом (и что в него не входит)

Слой управления железом отвечает за то, где и на какой ноде выполняется нагрузка, и за то, чтобы ноды были живы и заменяемы. В границах темы:

  • планировщик размещения подов на GPU-нодах;
  • taints/tolerations и node affinity — чтобы CPU-поды не занимали GPU-ноды;
  • health-check нод и ускорителей;
  • автоскейл пула нод по длине очереди;
  • graceful drain с прогревом перед выводом ноды.

Вне границ: выбор фреймворка для цепочек агентов, схемы доступа моделей к корпоративным данным, качество самих моделей. Эти темы важны, но решаются на другом уровне и не должны смешиваться с решением «оркеструем сервер или нет».

Для метрик ускорителей полезно опираться на проверенный инструментарий: NVIDIA DCGM собирает телеметрию GPU, а dcgm-exporter отдаёт её в Prometheus, откуда данные забирает Grafana. В Kubernetes kubelet умеет сопоставлять метрики GPU с конкретным подом через pod-resources — это описано в материале NVIDIA о мониторинге GPU в Kubernetes.

Учебный кластер из 8 нод: состав и роли

Ниже — учебная конфигурация. Числа и модели ускорителей выбраны для примера, это не результат исследования и не рекомендация по закупке.

НодаРольРешение
gpu-1Инференс, длинный прогрев моделиОркеструем, но с отдельным правилом drain
gpu-2Инференс, короткий прогревОркеструем
gpu-3Пакетные задачи обученияОркеструем
gpu-4Резерв под пикиОркеструем, участвует в автоскейле
cpu-1Контроллеры, планировщикОркеструем
cpu-2Сервисы метрик и алертовОркеструем
store-1Хранилище метрик и логовРуками: состояние и диск
spare-1Резерв на заменуРуками до ввода в пул

Логика проста: чем легче ноду пересоздать и чем чаще она меняется, тем выше смысл отдавать её оркестратору. Ноды с локальным состоянием и редкими изменениями выгоднее держать под ручным контролем.

Планирование подов на GPU-нодах: taints, tolerations, node affinity

Планировщик должен понимать, что GPU-нода предназначена для задач, которым нужен ускоритель. Практический приём — пометить GPU-ноды taint-ом, а toleration выдавать только подам, запрашивающим GPU. Тогда обычные сервисы не займут дорогой ресурс.

Почему без taints CPU-поды занимают GPU-ноды

Если ограничиться только запросом ресурса в спецификации пода, часть фоновых сервисов всё равно может попасть на GPU-ноду: планировщик смотрит на доступные ресурсы, а не на «намерение» команды. Taint работает как явный запрет по умолчанию, toleration — как разрешение для избранных. Node affinity дополняет картину: ей можно притянуть конкретную нагрузку к нодам с нужным типом ускорителя, не полагаясь на удачу.

Правило для реестра: любая GPU-нода имеет taint, любой под, которому нужен ускоритель, — toleration и явный запрос ресурса. Всё остальное на такие ноды не планируется.

Health-check GPU-нод: что проверять и как часто

Health-check нужен, чтобы выводить из пула ноду с деградировавшим ускорителем раньше, чем это заметят пользователи. Разумный минимум — проверять доступность устройства, ошибки драйвера и базовую телеметрию через DCGM, а результаты складывать в ту же систему метрик, что и остальные показатели кластера.

Частоту проверок стоит выбирать по критичности нагрузки: для инференса, где простой заметен сразу, проверки чаще; для пакетных задач достаточно более редкого интервала. Конкретные пороги и интервалы в этом материале не утверждаются как универсальные — их нужно определить под свой кластер.

Автоскейл пула нод по длине очереди

Длина очереди на инференс — понятный сигнал для масштабирования: если запросы копятся, пул нод расширяется; если очередь стабильно пуста, лишние ноды выводятся. Это правило удобно тем, что оно напрямую связано с тем, что чувствует пользователь, а не с косвенными метриками вроде средней загрузки.

Порог масштабирования и защита от флаппинга

Без защиты от флаппинга пул будет расти и сжиматься на каждой короткой вспышке. Практика: задать порог по длине очереди, удерживаемый в течение некоторого времени, и отдельный, более консервативный порог для сжатия. Тогда кратковременный всплеск не приводит к запуску нод, а короткий спад — к их выводу.

В реестре фиксируется само правило: «если очередь на инференс выше порога дольше заданного окна — добавляем ноду; если ниже порога сжатия дольше окна — выводим». Владелец правила и дата пересмотра обязательны.

Graceful drain с прогревом: порядок шагов

Ноду с длинным прогревом модели нельзя просто вывести из пула: пока новая нода не готова принимать трафик, очередь растёт, и часть запросов может не дождаться ответа. Порядок шагов для такой ноды:

  1. Перестать направлять на неё новый трафик, но дать доработать текущие запросы.
  2. Запустить и прогреть замену: дождаться, пока она пройдёт health-check и будет готова принимать нагрузку.
  3. Только после этого завершить работу подов на выводимой ноде и освободить её.
  4. Вернуть ноду в пул или вывести из кластера — по решению владельца.

Для нод с коротким прогревом шаги 1–2 можно совмещать, для нод с длинным — нельзя. Это различие и стоит зафиксировать в реестре отдельной строкой.

Реестр «оркеструем/руками»: шаблон и пример заполнения

Одностраничный реестр — главный артефакт. Он превращает устные договорённости в проверяемое правило. Минимальные колонки: сервер, роль, решение, критерий, обоснование, владелец, дата пересмотра.

СерверРешениеКритерийВладелец
gpu-1Оркеструем, drain с прогревомЧасто меняется, но долгий прогревПлатформенная команда
gpu-4Оркеструем, в автоскейлеРезерв под пики, легко пересоздатьПлатформенная команда
store-1РукамиЛокальное состояние, редкие измененияSRE
spare-1Руками до ввода в пулНе входит в пул, решение отложеноSRE

Критерии выбора между ручным управлением и оркестратором сводятся к трём вопросам: как часто сервер меняется, насколько он критичен и сколько стоит его простой. Если сервер легко пересоздать и простой терпим — оркеструем. Если на нём лежит состояние или простой дороже ошибки автоматики — держим руками и пересматриваем решение по расписанию.

Типичная ошибка: drain без прогрева и переполнение очереди

Учебный сценарий: нода gpu-1 с длинным прогревом выводится на обслуживание, трафик с неё снят, но замена ещё не готова. Очередь на инференс растёт, автоскейл по длине очереди добавляет ноды, но они тоже требуют прогрева. В итоге часть запросов ждёт дольше обычного, а команда разбирается, почему «всё сломалось» при плановом обслуживании.

Предотвращение: в реестре для gpu-1 явно прописан порядок drain с прогревом, а автоскейл настроен так, чтобы добавление нод не маскировало проблему. Проверка — плановое обслуживание в тестовом окне, где видно, что очередь остаётся в допустимых пределах.

Чек-лист перед переводом сервера под оркестратор

  • Сервер можно пересоздать без потери уникальных данных.
  • Для GPU-ноды задан taint, для нужных подов — toleration и запрос ресурса.
  • Health-check ускорителя собирается в общую систему метрик.
  • Правило автоскейла по длине очереди записано с порогами и окнами.
  • Для нод с длинным прогревом описан drain с прогревом.
  • В реестре указаны решение, критерий, владелец и дата пересмотра.

Если хотя бы один пункт не выполняется, сервер пока остаётся под ручным управлением — это нормальное и явное решение, а не пробел.

Полезные смежные материалы: обзор облачных платформ для тренировки моделей и подборка библиотек Python для работы с ИИ.