Amazon представила метод HOPE для сжатия MoE-моделей с учётом связей экспертов
В блоге Hugging Face авторы из Amazon описали HOPE — метод прунинга экспертов в MoE-моделях, который учитывает парные взаимодействия между экспертами, а не оценивает каждого по отдельности. Вместе с описанием опубликован пакет для запуска метода.

Адаптация и понятное объяснение для начинающих. Заявления приведены по материалу источника.
В блоге Hugging Face авторы из Amazon описали метод HOPE (Higher-Order Pruning of Experts) для сжатия моделей с архитектурой mixture-of-experts (MoE). В таких моделях на каждый токен работает лишь небольшая часть «экспертов», но в памяти приходится держать всех. По данным авторов, у Qwen3.5-122B около 95% из примерно 250 ГБ параметров занимают именно экспертные блоки, хотя в каждом слое на токен выбирается лишь 8 экспертов из 256.
Что произошло
Прунинг экспертов — это удаление наименее полезных экспертов без дообучения. Прежние методы оценивали каждого эксперта отдельно, по одному числу важности. HOPE, по словам авторов, учитывает парные взаимодействия: эксперты образуют устойчивые группы, которые часто активируются вместе, и удаление одного участника может разрушить такую группу.
Метод строит матрицу взаимодействий на калибровочных данных и решает задачу выбора набора экспертов для удаления. Авторы утверждают, что при 50% прунинга HOPE показал лучший средний ранг среди сравниваемых методов и прирост до +6,1% на агентных задачах кодинга относительно следующего лучшего метода. Опубликован пакет из трёх шагов: калибровка, решение, прунинг; по данным авторов, он протестирован на Qwen3, Qwen3-Next, Qwen3.5 и GLM-4.5.
Что это значит для начинающего
MoE — это приём, при котором модель содержит много «специализированных» подсетей, но на каждый запрос включает только часть из них. Это экономит вычисления, но не память: всех экспертов нужно где-то хранить. Прунинг уменьшает итоговый размер модели, и для новичка это наглядный пример компромисса между качеством и ресурсами.
Главная идея HOPE проста: смотреть не только на «силу» отдельного эксперта, но и на то, насколько он полезен в связке с другими. Если вы разбираетесь с устройством MoE, полезно запомнить сам принцип — оценивать компоненты модели в контексте их взаимодействий, а не изолированно.
Практический совет: если решите пробовать пакет, сначала проверьте, какие модели и форматы данных он поддерживает по описанию авторов, и начните с малого прунинга. При низких степенях сжатия, по данным авторов, преимущество HOPE меньше, и простые методы могут быть сопоставимы.
На что обратить внимание
- Результаты и сравнения приводит сама команда авторов; независимой проверки в источнике не описано.
- HOPE прунит каждый слой отдельно и не учитывает взаимодействия между слоями; подход для кросс-слойного случая авторы называют предварительным.
- Метод учитывает только парные связи, а не группы из трёх и более экспертов.
- Лицензия и точные условия доступа к пакету в тексте блога не раскрыты; совместимость ограничена перечисленными семействами моделей (Qwen3, Qwen3-Next, Qwen3.5, GLM-4.5) — это стоит уточнить отдельно.
Материал полезен как введение в тему сжатия MoE-моделей, но заявления о превосходстве метода стоит воспринимать как результаты авторов, а не как подтверждённый независимый факт.


