Серверная инфраструктура для ИИ-проектов: от параметров проекта к измеримой спецификации
Как перевести параметры ИИ-проекта в измеримые требования к серверам: видеопамять, ускорители, интерконнект, память, питание и проверка на площадке.

Серверную инфраструктуру для ИИ-проектов выбирают не по названию видеокарты, а по параметрам задачи: что именно считает модель, сколько пользователей одновременно её нагружают, какой отклик нужен и сколько данных хранится рядом. Практический смысл — получить один документ, где каждое требование к железу связано с параметром проекта и со способом проверки. Ниже — как собрать такую спецификацию и когда её пересматривать.
Зачем нужна спецификация, а не список железа
Список компонентов отвечает на вопрос «что купить». Спецификация отвечает на вопрос «почему именно это и как убедиться, что подойдёт». Разница проявляется при закупке: если требование не связано с параметром проекта и не имеет способа проверки, его нельзя ни обосновать, ни оспорить, ни пересчитать при изменении нагрузки.
Полезно сразу отделить свою задачу от соседних тем. Здесь речь о требованиях к серверам для AI-сервисов и их проверке. Расчёт себестоимости токена, бюджет стойки с учётом PUE, выбор облака или платформы и оркестрация — отдельные вопросы, и смешивать их в одной спецификации не стоит.
Шаг 1. Профиль нагрузки и SLA
Начните с описания сценария, а не с железа. Для инференса важны размер модели, длина входа и выхода, число одновременных сессий и целевая задержка. Для обучения — объём датасета, частота экспериментов и допустимое время до результата. Это разные профили, и один сервер редко одинаково хорош в обоих.
Отдельно зафиксируйте SLA в измеримых величинах: например, доля запросов, укладывающихся в заданное время отклика, и допустимое число параллельных пользователей. Без этого невозможно проверить, выдержит ли конфигурация рабочую нагрузку, а не только тестовый запрос.
Шаг 2. Размер модели и видеопамять
Видеопамять — один из главных ресурсов при локальном инференсе: в неё помещаются веса модели, кэш и служебные данные среды запуска. Типичная ошибка — считать, что модель «влезла» в память, значит сервер справится. При параллельных сессиях и длинном контексте расход растёт, и запас нужен не под один запрос, а под рабочую нагрузку.
Практический вывод: формулируйте требование не как «карта на N ГБ», а как «модель заданного размера и точности обслуживает X параллельных сессий при длине контекста Y с запасом по памяти». Способ проверки — тест на реальной модели, с реальной длиной запросов и ожидаемым числом пользователей, а не синтетический одиночный запрос.
Шаг 3. Число ускорителей и интерконнект
Если модель не помещается в память одного ускорителя, она распределяется по нескольким. Тогда на первый план выходит связь между ними: от неё зависит, насколько эффективно ускорители работают вместе. NVIDIA описывает NVLink как выделенный интерконнект GPU-to-GPU, а NVLink Switch — как способ соединить ускорители в масштабе стойки с полной связностью. По данным страницы NVIDIA, шестое поколение NVLink обеспечивает 3 ТБ/с на GPU для платформы Vera Rubin — это 1,7x больше предыдущего поколения и 12x пропускной способности PCIe Gen6; в конфигурации NVL72 72 GPU соединены в топологию all-to-all с суммарной пропускной способностью 216 ТБ/с. Конкретные поколения и цифры стоит сверять по актуальной документации производителя на дату закупки.
Требование к спецификации: указать, помещается ли модель в один ускоритель, и если нет — какой интерконнект нужен внутри узла и какая сеть между узлами. Способ проверки — тест масштабирования: сравнить пропускную способность на одном ускорителе и на нескольких при целевой нагрузке.
Шаг 4. Хост-память, NVMe и сеть хранения
Ускорители — не единственный ресурс. Процессор и оперативная память участвуют в подготовке данных и обслуживании запросов, быстрые NVMe-диски нужны для датасетов, индексов и кэшей, а сеть — для доступа к хранилищу и между узлами. Для сценариев поиска по документам с генерацией ответа нагрузка на диски и память заметно выше, чем у простого чат-бота.
Формулируйте требования измеримо: объём датасета и индекса, требуемая скорость чтения, число одновременных обращений. Способ проверки — профиль реального сценария на пилотном наборе данных, а не оценка «на глаз».
Шаг 5. Питание, охлаждение, форм-фактор и слоты
Мощные ускорители предъявляют требования к питанию и отводу тепла, а несколько карт — к числу линий PCIe и свободному месту в корпусе. Совместимость по слоту ещё не гарантирует, что сервер подойдёт: тепловой пакет и воздушный поток могут стать ограничением раньше, чем вычислительная мощность.
Требование к спецификации: суммарный бюджет питания с запасом, тепловой пакет, число и тип доступных слотов, форм-фактор. Способ проверки — сверка с документацией платформы и осмотр площадки до закупки: доступная мощность, охлаждение, место в стойке.
Шаг 6. ПО и совместимость
Стек ПО задаёт ограничения на железо: поддержка ускорителей, версии драйверов и библиотек, совместимость с выбранным способом запуска моделей. Требование формулируйте как перечень поддерживаемых конфигураций, а способ проверки — как запуск целевого стека на пилотном стенде до масштабной закупки.
Сводная таблица: параметр → требование → проверка
Ниже — учебный локальный пример: внутренний ассистент по документам для отдела из 30 сотрудников. Числа иллюстративные, они показывают логику, а не результат исследования или готовую рекомендацию.
| Параметр проекта | Требование к инфраструктуре | Способ проверки |
|---|---|---|
| Модель заданного размера и точности | Видеопамять с запасом под веса, кэш и параллельные сессии | Тест на реальной модели при целевой длине контекста |
| До 30 одновременных пользователей | Число ускорителей и запас по памяти под пиковую нагрузку | Нагрузочный тест с профилем реальных запросов |
| Целевое время отклика | Интерконнект и сеть, достаточные для распределения модели | Сравнение пропускной способности на одном и нескольких ускорителях |
| Объём базы документов и индекса | Хост-память, NVMe нужной ёмкости и скорости, сеть к хранилищу | Профиль чтения на пилотном наборе данных |
| Размещение на площадке | Бюджет питания, тепловой пакет, слоты, форм-фактор | Сверка с документацией платформы и осмотр площадки |
| Выбранный стек ПО | Поддерживаемые ускорители, драйверы, библиотеки | Запуск целевого стека на пилотном стенде |
Проверка на площадке и в бюджете
До закупки спецификацию стоит проверить на месте. Чек-лист приёмки:
- доступные линии PCIe и свободные слоты под нужное число ускорителей;
- бюджет питания с запасом и возможность его обеспечить на площадке;
- тепловой пакет и достаточность охлаждения;
- форм-фактор и место в стойке;
- совместимость с выбранным ПО и версиями драйверов.
Бюджет проверяйте по той же логике: каждая строка спецификации должна иметь обоснование и способ проверки. Если требование нельзя проверить, оно либо избыточно, либо сформулировано слишком расплывчато.
Правило пересмотра спецификации
Спецификация устаревает вместе с проектом. Задайте триггеры пересмотра заранее:
- выросла длина контекста или число параллельных сессий — пересчитайте запас по видеопамяти и число ускорителей;
- сменилась модель или её точность — пересмотрите требования к памяти и интерконнекту;
- изменился SLA по времени отклика — перепроверьте интерконнект, сеть и распределение нагрузки;
- заметно вырос объём данных — пересмотрите хост-память, NVMe и сеть хранения.
Каждый пересмотр — это повторная проверка затронутых строк таблицы, а не покупка «на всякий случай».
Частые ошибки
- «Модель влезла в VRAM» = выдержит нагрузку. Одиночный запрос не показывает поведение при параллельных сессиях и длинном контексте.
- Выбор по названию ускорителя. Без связи с профилем нагрузки и SLA это не требование, а предпочтение.
- Игнорирование площадки. Питание, охлаждение и слоты могут ограничить конфигурацию раньше, чем вычисления.
- Отсутствие триггеров пересмотра. Спецификация без правила обновления быстро расходится с реальной задачей.
Полезные смежные материалы: аппаратное обеспечение для ИИ, RAG и архитектуры LLM-приложений, ИИ в графике и рендеринге. Технические детали интерконнектов стоит сверять по странице NVIDIA NVLink и техническому блогу NVIDIA.


