NVIDIA показала диффузионные языковые модели, которые «очищают» текст в векторном пространстве
Nemotron-Labs-Sigma — 14 открытых чекпоинтов на 3 и 8 млрд параметров. Вместо перебора токенов модель постепенно убирает шум в 16-мерном пространстве эмбеддингов; NVIDIA заявляет ускорение до 3,46 раза для self-speculative версии.

Адаптация и понятное объяснение для начинающих. Заявления приведены по материалу источника.
Обычная языковая модель пишет текст токен за токеном: выбрала следующий элемент словаря — и так по кругу. У семейства Nemotron-Labs-Sigma, которое выпустила NVIDIA, механика другая. Модель учится восстанавливать текст из зашумлённого представления, причём не в наборе дискретных токенов, а в выученном 16-мерном пространстве эмбеддингов. Опубликовано 14 открытых чекпоинтов на 3 и 8 млрд параметров.
Эмбеддинг — числовой вектор, которым модель представляет фрагмент текста. У диффузионных языковых моделей вроде LLaDA и Dream шум добавляют и снимают прямо над токенами, то есть над дискретными состояниями. Sigma работает с гладкой непрерывной геометрией: обучение добавляет к эмбеддингам гауссов шум и учит модель его убирать, а сама геометрия подстраивается вместе с денойзером — компонентом, который этот шум снимает.
Что вошло в релиз
В каждом размере — четыре варианта: базовые Sigma-3B и Sigma-8B, инструктивные Sigma-3B-instruct и Sigma-8B-instruct, дистиллированные версии с малым числом шагов (NFE 2, 4, 8 и 16 — это восемь чекпоинтов) и self-speculative варианты distill-spec-3B и distill-spec-8B. Контекст у базовых моделей — 4096 токенов, у Sigma-8B-instruct — 8192.
Генерация идёт блоками по умолчанию в 64 токена: каждый очищенный блок фиксируется в KV-кэше, прежде чем начнётся следующий. Архитектура — декодер в стиле Ministral с grouped-query attention, SwiGLU и роторными позиционными эмбеддингами. Обучение стартует с авторегрессивного «прогрева» примерно на 1 трлн токенов, после чего следует около 0,3 трлн токенов диффузионного обучения.
Зачем нужна непрерывность
Дискретная диффузия перескакивает между состояниями токенов, и управлять такой траекторией трудно. Sigma идёт по гладким путям ODE/SDE: по утверждению авторов, они мягче деградируют при малом числе шагов и лучше поддаются дистилляции — сжатию большой модели в версию с меньшим числом вызовов. Управление в пространстве эмбеддингов также позволяет настраивать баланс качества и разнообразия при выборке pass@k.
Цифры — из оценок самой NVIDIA
Все результаты ниже получены NVIDIA, а не независимыми тестами. На собственном наборе из шести задач базовая Sigma-8B при 256 шагах DDPM набирает в среднем 71,16 против 70,22 у NLD-8B, 58,74 у Dream-7B и 41,78 у LLaDA-8B. Авторегрессивная Qwen3-8B в том же наборе — 68,91. Более дешёвый сэмплер DDIM на 32 шага даёт 70,18.
Сильнее всего выглядит код: 65,12 на HumanEval против 62,80 у NLD-8B, хотя на MBPP Sigma уступает — 65,74 против 67,00. После дообучения Sigma-8B-instruct показывает 91,96 на GSM8K, 78,40 на MATH-500 и 82,50 на HumanEval. Трудная математика даётся тяжело: 23,33 на AIME24 и 17,00 на AIME25. Средний результат инструктивной версии по десяти задачам — 59,14, чуть ниже 59,92 у NLD-8B.
Скорость и ограничения запуска
Дистиллированная Sigma-distill-8B-nfe8 обрабатывает блок из 32 токенов за восемь вызовов денойзера плюс одно считывание. По карточке модели её средний результат на шести задачах — 70,34, то есть близко к «учителю» с 256 шагами. Self-speculative чекпоинты добавляют собственную авторегрессивную голову, которая проверяет черновик диффузионной головы; выход, по заявлению NVIDIA, точно совпадает с жадным авторегрессивным декодированием. На одной GB200 со SGLang 8B-версия работает в среднем в 3,46 раза быстрее авторегрессивного декодирования, пиковые ускорения — до 4,20 раза.
Практические ограничения существенные. Нужна CUDA-видеокарта в bfloat16 — Ampere, Lovelace, Hopper или Blackwell; поддержки CPU нет, квантованных вариантов в списке тоже. Для загрузки требуются PyTorch 2.4+, Transformers 4.55+ и trust_remote_code. На одной H100 базовая модель выдаёт примерно 120–140 токенов в секунду. Чекпоинты лежат на Hugging Face под лицензией NVIDIA Nemotron Open Model License, карточки заявляют готовность к коммерческому использованию; собственного API NVIDIA не предоставляет.
Sigma интересна не столько отдельными баллами, сколько направлением: диффузия в непрерывном пространстве делает магистралью то, что у дискретных моделей остаётся трюком — сжатие в несколько шагов и управление траекторией. Насколько это преимущество проявится за пределами набора задач NVIDIA, покажут сторонние проверки.


