ComfyUI ускорила локальную генерацию текста моделями Qwen3.x до двух раз
В ComfyUI v0.45.0 переписан «горячий путь» генерации текста для моделей Qwen3.x: на той же видеокарте токены выдаются до двух раз быстрее без изменения модели и качества вывода. Компания приводит замеры на собственных GPU.

Адаптация и понятное объяснение для начинающих. Заявления приведены по материалу источника.
Что произошло
Команда ComfyUI сообщила, что в версии v0.45.0 переписала основной вычислительный путь генерации текста для семейства моделей Qwen3.x. По заявлению компании, те же чекпоинты на той же видеокарте теперь выдают токены до двух раз быстрее, при этом модель и качество текста не меняются.
Приведённые замеры — это данные самой компании, а не независимая проверка. На RTX 5090 модель Qwen3.5 9B, по её словам, выросла со 106 до 219 токенов в секунду, на RTX 5080 — с 91 до 129. Модель Qwen3.8 27B при описании изображения 1536×1536 на RTX 5090 показала рост с 55 до 122 токенов в секунду.
Ускорение касается не только чата: быстрее работают и многие «улучшатели промптов», встроенные в современные генераторы изображений. По данным ComfyUI, улучшения работают на NVIDIA и AMD, в Windows и Linux, и не требуют дополнительных действий, кроме обновления.
Что это значит для начинающего
Главная идея проста. При генерации текста модель выдаёт токены по одному, и на каждый шаг ей приходится заново читать из видеопамяти большой объём весов. Поэтому скорость упирается не в вычисления, а в скорость чтения памяти — это и есть «узкое место». В отличие от этого, диффузионные модели для картинок обрабатывают сразу весь результат и ограничены вычислительной мощностью GPU.
ComfyUI применила несколько приёмов. Во-первых, оптимизировала ядра для «тонких» матричных операций (GEMV) — программ, которые умножают матрицу весов на вектор состояния одного токена. Во-вторых, задействовала механизм MTP (multi-token prediction): у моделей Qwen3.x есть дополнительный слой, который заранее «угадывает» несколько следующих токенов, а основная модель затем проверяет догадки за один проход. Верные догадки экономят целые шаги чтения весов.
Новый адаптивный древовидный MTP подстраивает форму догадок под тип текста: для предсказуемого вывода вроде кода выгоднее длинные цепочки, для творческого письма — более широкий перебор вариантов. Пользователю достаточно загрузить чекпоинт Qwen3.x и оставить опцию mtp в узле Text Generate на auto.
Для новичка практический смысл такой: локальная работа с текстовыми моделями в ComfyUI становится отзывчивее без покупки нового железа. Это снижает порог входа, если вы экспериментируете с промптами и описанием изображений на своём компьютере.
На что обратить внимание
- Все цифры ускорения — заявления ComfyUI на конкретных конфигурациях; на другой видеокарте и других моделях прирост может быть иным.
- Улучшения касаются именно семейства Qwen3.x; для других LLM эффект не гарантирован.
- Часть оптимизаций опирается на аппаратные возможности тензорных ядер NVIDIA, поэтому на разных GPU выигрыш может различаться.
- Отдельный режим Comfy-Kitchen attention включается флагом запуска --use-ck-attention; это опция, а не поведение по умолчанию.
Полезно также помнить о терминах: «токен» — это фрагмент текста, которым оперирует модель; «квантование» (например, W4A8) — хранение весов в 4 битах и активаций в 8 битах для экономии памяти; «спекулятивное декодирование» — приём с предварительными догадками и их проверкой. Понимание этих понятий поможет трезво оценивать подобные анонсы и не путать обещания разработчика с независимыми бенчмарками.


