Новости · Инструменты

Cmpnd выпустила dspy-wsp: LLM правит веса модели без градиентов

Cmpnd представила dspy-wsp — экспериментальный оптимизатор для DSPy, в котором фронтирная LLM читает и напрямую меняет веса небольшой модели. Компания сообщает об улучшении на всех протестированных моделях при затратах около $5–10 на вызовы GPT-6-Astra.

Редакция DeepMe
· 3 мин чтения
Стопка карточек, соединённых шарами, и пирамида кубиков с одним перемещённым шаром наверху.
Иллюстрация к теме новости
Первоисточник: www.marktechpost.comМатериал источника от 14.11.2026

Адаптация и понятное объяснение для начинающих. Заявления приведены по материалу источника.

Что произошло

Cmpnd выпустила dspy-wsp — прототип оптимизатора для фреймворка DSPy, реализующий так называемое программирование в пространстве весов (weight-space programming, WSP). Идея в том, что фронтирная LLM читает веса другой, небольшой модели и напрямую их редактирует: без градиентов, без цикла обучения и без датасета для fine-tuning.

В роли «редактора» в тестах компании выступала GPT-6-Astra. По данным Cmpnd, на вызовы ушло примерно $5–10, и это улучшило каждую проверенную модель принятия решений. Лучший результат — d1-omni-600M: с 50,9% до 69,1% при совместной работе WeightSpace и ReAnchor. Слабее всего показала себя крупнейшая модель, Clef-Flash на 9B: только +1,9 пункта от одного WeightSpace.

Пакет распространяется по лицензии MIT, ставится через pip и требует DSPy 3.5. Тестировали на открытых моделях от 0,6B до 9B параметров; один прогон занимал от 78 до 167 минут. Сама компания называет метод очень экспериментальным.

Что это значит для начинающего

Обычно у разработчика два рычага. Промпт-оптимизация (например, MIPROv2 или GEPA в DSPy) меняет только текст инструкций и примеров — веса модели остаются прежними. Fine-tuning меняет веса через градиентный спуск, но требует данных, цикла обучения и обычно GPU. WSP предлагает третий путь: LLM рассуждает о том, что вычисляет участок сети, пишет код-патч и проверяет результат несколькими прямыми прогонами (forward passes).

Для новичка это полезно как концепция: веса можно рассматривать как программу, которую можно читать и править. Практический вывод — небольшой локальный патч вместо полноценного обучения. Но не стоит воспринимать это как готовый способ «прокачать» любую модель: в источнике речь идёт о прототипе и узком классе задач.

Термины кратко: forward pass — один прогон данных через модель без обучения; holdout — отложенная часть данных, на которой проверяют правки; ReAnchor — более ранний оптимизатор Cmpnd, который перенастраивает пороги решений без вызовов LLM.

На что обратить внимание

  • Цифры и стоимость — данные компании Cmpnd, а не независимая проверка.
  • Метод медленный: десятки минут на прогон даже на небольших моделях.
  • На крупных моделях выигрыш скромный; на Gemma 3 270M правки почти не дали прироста — по оценке исследователей, редактирование убирает помеху, но не добавляет недостающую способность.
  • В источнике не указано, как разворачивать отредактированную модель в продакшене и насколько патчи устойчивы вне тестового набора.

Полезный контекст о работе с генеративными моделями — в материале «Как избежать ошибок при работе с генеративными моделями».

Что пока неизвестно

Источник не сообщает о независимых воспроизведениях результатов, о поддержке моделей за пределами протестированного диапазона и о том, насколько метод пригоден для задач вне бенчмарка Typed Decisions. Ограничения доступа к пакету и совместимость с окружениями, кроме macOS и Linux, также не описаны.