Технические аспекты ИИ

Серверная инфраструктура для ИИ-проектов: от параметров проекта к измеримой спецификации

Как перевести параметры ИИ-проекта в измеримые требования к серверам: видеопамять, ускорители, интерконнект, память, питание и проверка на площадке.

Редакция DeepMe
· Обновлено · 6 мин чтения
Три бумажные карточки соединены шариками в цепочку рядом со ступенчатой подставкой из кубиков и лентой.

Серверную инфраструктуру для ИИ-проектов выбирают не по названию видеокарты, а по параметрам задачи: что именно считает модель, сколько пользователей одновременно её нагружают, какой отклик нужен и сколько данных хранится рядом. Практический смысл — получить один документ, где каждое требование к железу связано с параметром проекта и со способом проверки. Ниже — как собрать такую спецификацию и когда её пересматривать.

Зачем нужна спецификация, а не список железа

Список компонентов отвечает на вопрос «что купить». Спецификация отвечает на вопрос «почему именно это и как убедиться, что подойдёт». Разница проявляется при закупке: если требование не связано с параметром проекта и не имеет способа проверки, его нельзя ни обосновать, ни оспорить, ни пересчитать при изменении нагрузки.

Полезно сразу отделить свою задачу от соседних тем. Здесь речь о требованиях к серверам для AI-сервисов и их проверке. Расчёт себестоимости токена, бюджет стойки с учётом PUE, выбор облака или платформы и оркестрация — отдельные вопросы, и смешивать их в одной спецификации не стоит.

Шаг 1. Профиль нагрузки и SLA

Начните с описания сценария, а не с железа. Для инференса важны размер модели, длина входа и выхода, число одновременных сессий и целевая задержка. Для обучения — объём датасета, частота экспериментов и допустимое время до результата. Это разные профили, и один сервер редко одинаково хорош в обоих.

Отдельно зафиксируйте SLA в измеримых величинах: например, доля запросов, укладывающихся в заданное время отклика, и допустимое число параллельных пользователей. Без этого невозможно проверить, выдержит ли конфигурация рабочую нагрузку, а не только тестовый запрос.

Шаг 2. Размер модели и видеопамять

Видеопамять — один из главных ресурсов при локальном инференсе: в неё помещаются веса модели, кэш и служебные данные среды запуска. Типичная ошибка — считать, что модель «влезла» в память, значит сервер справится. При параллельных сессиях и длинном контексте расход растёт, и запас нужен не под один запрос, а под рабочую нагрузку.

Практический вывод: формулируйте требование не как «карта на N ГБ», а как «модель заданного размера и точности обслуживает X параллельных сессий при длине контекста Y с запасом по памяти». Способ проверки — тест на реальной модели, с реальной длиной запросов и ожидаемым числом пользователей, а не синтетический одиночный запрос.

Шаг 3. Число ускорителей и интерконнект

Если модель не помещается в память одного ускорителя, она распределяется по нескольким. Тогда на первый план выходит связь между ними: от неё зависит, насколько эффективно ускорители работают вместе. NVIDIA описывает NVLink как выделенный интерконнект GPU-to-GPU, а NVLink Switch — как способ соединить ускорители в масштабе стойки с полной связностью. По данным страницы NVIDIA, шестое поколение NVLink обеспечивает 3 ТБ/с на GPU для платформы Vera Rubin — это 1,7x больше предыдущего поколения и 12x пропускной способности PCIe Gen6; в конфигурации NVL72 72 GPU соединены в топологию all-to-all с суммарной пропускной способностью 216 ТБ/с. Конкретные поколения и цифры стоит сверять по актуальной документации производителя на дату закупки.

Требование к спецификации: указать, помещается ли модель в один ускоритель, и если нет — какой интерконнект нужен внутри узла и какая сеть между узлами. Способ проверки — тест масштабирования: сравнить пропускную способность на одном ускорителе и на нескольких при целевой нагрузке.

Шаг 4. Хост-память, NVMe и сеть хранения

Ускорители — не единственный ресурс. Процессор и оперативная память участвуют в подготовке данных и обслуживании запросов, быстрые NVMe-диски нужны для датасетов, индексов и кэшей, а сеть — для доступа к хранилищу и между узлами. Для сценариев поиска по документам с генерацией ответа нагрузка на диски и память заметно выше, чем у простого чат-бота.

Формулируйте требования измеримо: объём датасета и индекса, требуемая скорость чтения, число одновременных обращений. Способ проверки — профиль реального сценария на пилотном наборе данных, а не оценка «на глаз».

Шаг 5. Питание, охлаждение, форм-фактор и слоты

Мощные ускорители предъявляют требования к питанию и отводу тепла, а несколько карт — к числу линий PCIe и свободному месту в корпусе. Совместимость по слоту ещё не гарантирует, что сервер подойдёт: тепловой пакет и воздушный поток могут стать ограничением раньше, чем вычислительная мощность.

Требование к спецификации: суммарный бюджет питания с запасом, тепловой пакет, число и тип доступных слотов, форм-фактор. Способ проверки — сверка с документацией платформы и осмотр площадки до закупки: доступная мощность, охлаждение, место в стойке.

Шаг 6. ПО и совместимость

Стек ПО задаёт ограничения на железо: поддержка ускорителей, версии драйверов и библиотек, совместимость с выбранным способом запуска моделей. Требование формулируйте как перечень поддерживаемых конфигураций, а способ проверки — как запуск целевого стека на пилотном стенде до масштабной закупки.

Сводная таблица: параметр → требование → проверка

Ниже — учебный локальный пример: внутренний ассистент по документам для отдела из 30 сотрудников. Числа иллюстративные, они показывают логику, а не результат исследования или готовую рекомендацию.

Параметр проектаТребование к инфраструктуреСпособ проверки
Модель заданного размера и точностиВидеопамять с запасом под веса, кэш и параллельные сессииТест на реальной модели при целевой длине контекста
До 30 одновременных пользователейЧисло ускорителей и запас по памяти под пиковую нагрузкуНагрузочный тест с профилем реальных запросов
Целевое время откликаИнтерконнект и сеть, достаточные для распределения моделиСравнение пропускной способности на одном и нескольких ускорителях
Объём базы документов и индексаХост-память, NVMe нужной ёмкости и скорости, сеть к хранилищуПрофиль чтения на пилотном наборе данных
Размещение на площадкеБюджет питания, тепловой пакет, слоты, форм-факторСверка с документацией платформы и осмотр площадки
Выбранный стек ПОПоддерживаемые ускорители, драйверы, библиотекиЗапуск целевого стека на пилотном стенде

Проверка на площадке и в бюджете

До закупки спецификацию стоит проверить на месте. Чек-лист приёмки:

  • доступные линии PCIe и свободные слоты под нужное число ускорителей;
  • бюджет питания с запасом и возможность его обеспечить на площадке;
  • тепловой пакет и достаточность охлаждения;
  • форм-фактор и место в стойке;
  • совместимость с выбранным ПО и версиями драйверов.

Бюджет проверяйте по той же логике: каждая строка спецификации должна иметь обоснование и способ проверки. Если требование нельзя проверить, оно либо избыточно, либо сформулировано слишком расплывчато.

Правило пересмотра спецификации

Спецификация устаревает вместе с проектом. Задайте триггеры пересмотра заранее:

  • выросла длина контекста или число параллельных сессий — пересчитайте запас по видеопамяти и число ускорителей;
  • сменилась модель или её точность — пересмотрите требования к памяти и интерконнекту;
  • изменился SLA по времени отклика — перепроверьте интерконнект, сеть и распределение нагрузки;
  • заметно вырос объём данных — пересмотрите хост-память, NVMe и сеть хранения.

Каждый пересмотр — это повторная проверка затронутых строк таблицы, а не покупка «на всякий случай».

Частые ошибки

  • «Модель влезла в VRAM» = выдержит нагрузку. Одиночный запрос не показывает поведение при параллельных сессиях и длинном контексте.
  • Выбор по названию ускорителя. Без связи с профилем нагрузки и SLA это не требование, а предпочтение.
  • Игнорирование площадки. Питание, охлаждение и слоты могут ограничить конфигурацию раньше, чем вычисления.
  • Отсутствие триггеров пересмотра. Спецификация без правила обновления быстро расходится с реальной задачей.

Полезные смежные материалы: аппаратное обеспечение для ИИ, RAG и архитектуры LLM-приложений, ИИ в графике и рендеринге. Технические детали интерконнектов стоит сверять по странице NVIDIA NVLink и техническому блогу NVIDIA.