Оркестрация ИИ-инфраструктуры: какие серверы отдать под управление, а какие оставить руками
Практическое руководство: как по списку серверов решить, что перевести под оркестратор ИИ-инфраструктуры, а что оставить руками, и зафиксировать правило в реестре.

Короткий ответ: под оркестратор отдавайте серверы, которые часто меняются, взаимозаменяемы и допускают автоматическое пересоздание; руками держите то, что уникально, редко меняется или простой чего дороже ошибки автоматики. Ниже — как принять это решение по списку серверов и зафиксировать его в одностраничном реестре.
Речь пойдёт о слое управления железом для ИИ-нагрузок: размещение подов на GPU-нодах, taints/tolerations и node affinity, health-check, автоскейл пула нод по длине очереди, graceful drain с прогревом. Это не обзор агентных фреймворков и не протоколы подключения моделей к данным — здесь только вопрос «кто управляет сервером».
Что входит в слой управления железом (и что в него не входит)
Слой управления железом отвечает за то, где и на какой ноде выполняется нагрузка, и за то, чтобы ноды были живы и заменяемы. В границах темы:
- планировщик размещения подов на GPU-нодах;
- taints/tolerations и node affinity — чтобы CPU-поды не занимали GPU-ноды;
- health-check нод и ускорителей;
- автоскейл пула нод по длине очереди;
- graceful drain с прогревом перед выводом ноды.
Вне границ: выбор фреймворка для цепочек агентов, схемы доступа моделей к корпоративным данным, качество самих моделей. Эти темы важны, но решаются на другом уровне и не должны смешиваться с решением «оркеструем сервер или нет».
Для метрик ускорителей полезно опираться на проверенный инструментарий: NVIDIA DCGM собирает телеметрию GPU, а dcgm-exporter отдаёт её в Prometheus, откуда данные забирает Grafana. В Kubernetes kubelet умеет сопоставлять метрики GPU с конкретным подом через pod-resources — это описано в материале NVIDIA о мониторинге GPU в Kubernetes.
Учебный кластер из 8 нод: состав и роли
Ниже — учебная конфигурация. Числа и модели ускорителей выбраны для примера, это не результат исследования и не рекомендация по закупке.
| Нода | Роль | Решение |
|---|---|---|
| gpu-1 | Инференс, длинный прогрев модели | Оркеструем, но с отдельным правилом drain |
| gpu-2 | Инференс, короткий прогрев | Оркеструем |
| gpu-3 | Пакетные задачи обучения | Оркеструем |
| gpu-4 | Резерв под пики | Оркеструем, участвует в автоскейле |
| cpu-1 | Контроллеры, планировщик | Оркеструем |
| cpu-2 | Сервисы метрик и алертов | Оркеструем |
| store-1 | Хранилище метрик и логов | Руками: состояние и диск |
| spare-1 | Резерв на замену | Руками до ввода в пул |
Логика проста: чем легче ноду пересоздать и чем чаще она меняется, тем выше смысл отдавать её оркестратору. Ноды с локальным состоянием и редкими изменениями выгоднее держать под ручным контролем.
Планирование подов на GPU-нодах: taints, tolerations, node affinity
Планировщик должен понимать, что GPU-нода предназначена для задач, которым нужен ускоритель. Практический приём — пометить GPU-ноды taint-ом, а toleration выдавать только подам, запрашивающим GPU. Тогда обычные сервисы не займут дорогой ресурс.
Почему без taints CPU-поды занимают GPU-ноды
Если ограничиться только запросом ресурса в спецификации пода, часть фоновых сервисов всё равно может попасть на GPU-ноду: планировщик смотрит на доступные ресурсы, а не на «намерение» команды. Taint работает как явный запрет по умолчанию, toleration — как разрешение для избранных. Node affinity дополняет картину: ей можно притянуть конкретную нагрузку к нодам с нужным типом ускорителя, не полагаясь на удачу.
Правило для реестра: любая GPU-нода имеет taint, любой под, которому нужен ускоритель, — toleration и явный запрос ресурса. Всё остальное на такие ноды не планируется.
Health-check GPU-нод: что проверять и как часто
Health-check нужен, чтобы выводить из пула ноду с деградировавшим ускорителем раньше, чем это заметят пользователи. Разумный минимум — проверять доступность устройства, ошибки драйвера и базовую телеметрию через DCGM, а результаты складывать в ту же систему метрик, что и остальные показатели кластера.
Частоту проверок стоит выбирать по критичности нагрузки: для инференса, где простой заметен сразу, проверки чаще; для пакетных задач достаточно более редкого интервала. Конкретные пороги и интервалы в этом материале не утверждаются как универсальные — их нужно определить под свой кластер.
Автоскейл пула нод по длине очереди
Длина очереди на инференс — понятный сигнал для масштабирования: если запросы копятся, пул нод расширяется; если очередь стабильно пуста, лишние ноды выводятся. Это правило удобно тем, что оно напрямую связано с тем, что чувствует пользователь, а не с косвенными метриками вроде средней загрузки.
Порог масштабирования и защита от флаппинга
Без защиты от флаппинга пул будет расти и сжиматься на каждой короткой вспышке. Практика: задать порог по длине очереди, удерживаемый в течение некоторого времени, и отдельный, более консервативный порог для сжатия. Тогда кратковременный всплеск не приводит к запуску нод, а короткий спад — к их выводу.
В реестре фиксируется само правило: «если очередь на инференс выше порога дольше заданного окна — добавляем ноду; если ниже порога сжатия дольше окна — выводим». Владелец правила и дата пересмотра обязательны.
Graceful drain с прогревом: порядок шагов
Ноду с длинным прогревом модели нельзя просто вывести из пула: пока новая нода не готова принимать трафик, очередь растёт, и часть запросов может не дождаться ответа. Порядок шагов для такой ноды:
- Перестать направлять на неё новый трафик, но дать доработать текущие запросы.
- Запустить и прогреть замену: дождаться, пока она пройдёт health-check и будет готова принимать нагрузку.
- Только после этого завершить работу подов на выводимой ноде и освободить её.
- Вернуть ноду в пул или вывести из кластера — по решению владельца.
Для нод с коротким прогревом шаги 1–2 можно совмещать, для нод с длинным — нельзя. Это различие и стоит зафиксировать в реестре отдельной строкой.
Реестр «оркеструем/руками»: шаблон и пример заполнения
Одностраничный реестр — главный артефакт. Он превращает устные договорённости в проверяемое правило. Минимальные колонки: сервер, роль, решение, критерий, обоснование, владелец, дата пересмотра.
| Сервер | Решение | Критерий | Владелец |
|---|---|---|---|
| gpu-1 | Оркеструем, drain с прогревом | Часто меняется, но долгий прогрев | Платформенная команда |
| gpu-4 | Оркеструем, в автоскейле | Резерв под пики, легко пересоздать | Платформенная команда |
| store-1 | Руками | Локальное состояние, редкие изменения | SRE |
| spare-1 | Руками до ввода в пул | Не входит в пул, решение отложено | SRE |
Критерии выбора между ручным управлением и оркестратором сводятся к трём вопросам: как часто сервер меняется, насколько он критичен и сколько стоит его простой. Если сервер легко пересоздать и простой терпим — оркеструем. Если на нём лежит состояние или простой дороже ошибки автоматики — держим руками и пересматриваем решение по расписанию.
Типичная ошибка: drain без прогрева и переполнение очереди
Учебный сценарий: нода gpu-1 с длинным прогревом выводится на обслуживание, трафик с неё снят, но замена ещё не готова. Очередь на инференс растёт, автоскейл по длине очереди добавляет ноды, но они тоже требуют прогрева. В итоге часть запросов ждёт дольше обычного, а команда разбирается, почему «всё сломалось» при плановом обслуживании.
Предотвращение: в реестре для gpu-1 явно прописан порядок drain с прогревом, а автоскейл настроен так, чтобы добавление нод не маскировало проблему. Проверка — плановое обслуживание в тестовом окне, где видно, что очередь остаётся в допустимых пределах.
Чек-лист перед переводом сервера под оркестратор
- Сервер можно пересоздать без потери уникальных данных.
- Для GPU-ноды задан taint, для нужных подов — toleration и запрос ресурса.
- Health-check ускорителя собирается в общую систему метрик.
- Правило автоскейла по длине очереди записано с порогами и окнами.
- Для нод с длинным прогревом описан drain с прогревом.
- В реестре указаны решение, критерий, владелец и дата пересмотра.
Если хотя бы один пункт не выполняется, сервер пока остаётся под ручным управлением — это нормальное и явное решение, а не пробел.
Полезные смежные материалы: обзор облачных платформ для тренировки моделей и подборка библиотек Python для работы с ИИ.


