Inkling 2 Mini: открытая модель на ~20 ГБ, которая «прокручивает» средние слои ради рассуждений
Thinking Machines выпустила Inkling 2 Mini — открытую MoE-модель с 26,4 млрд параметров, которая помещается на ноутбук. Средние слои в ней прогоняются трижды на каждый токен: компания утверждает, что это помогает рассуждать короче и лучше на агентных задачах.

Адаптация и понятное объяснение для начинающих. Заявления приведены по материалу источника.
Модель, которая помещается на ноутбук, но при этом умеет рассуждать «внутри» себя, не выписывая каждый шаг в текст, — так Thinking Machines описывает Inkling 2 Mini. Веса открыты, объём — около 20 ГБ, а на Tinker модель уже доступна для инференса и дообучения. Компания рассказывает, что её исследователи запустили модель офлайн на MacBook Pro в самолёте, и она за несколько минут собрала играбельный симулятор полёта.
Главная особенность — не размер, а устройство. Inkling 2 Mini построена как looped transformer: средние слои прогоняются три раза на каждый токен. Формально это не добавляет параметров, но увеличивает «последовательную глубину» вычислений на один токен. Идея в том, что модель может додумать больше, прежде чем что-то написать.
Что внутри и почему это интересно
Это Mixture-of-Experts: всего 26,4 млрд параметров, но активны лишь 3,4 млрд на токен. Такая схема позволяет держать в памяти большой запас знаний, а считать — небольшую часть. По словам компании, 20 слоёв хранятся в 4-битном формате NVFP4, ещё четыре — в MXFP8, причём в той же точности, в которой модель обучали, так что конвертировать веса не пришлось.
Любопытнее всего здесь вопрос надзора. Обычно за рассуждениями модели следят по цепочке рассуждений (chain of thought, CoT) — тексту, который она пишет по ходу решения. Looping даёт модели возможность проделать часть работы, не выводя её в текст. Отсюда опасение: не станет ли такое поведение менее прозрачным?
Thinking Machines отвечает на это предварительным анализом. Вместе с Inkling 2 Mini она выложила исследовательский вариант с переменным числом прогонов (от одного до пяти) и сообщает, что при большем числе прогонов цепочка рассуждений становится короче, но остаётся читаемой: длина предложений и доля обычных английских слов не меняются, модель просто реже возвращается назад. На тестах агентного саботажа рост числа прогонов не дал ухудшения. Это результаты самой компании, а не независимая проверка, и авторы прямо оговаривают, что исследовательская модель обучалась с RL только при трёх прогонах.
Где сильна, а где нет
Компания заявляет, что среди открытых моделей с менее чем 100 млрд параметров Inkling 2 Mini лидирует на агентном программировании: 48,2% на DeepSWE v1.1 и 46,5% на Vals Index v2.2. На части других задач она уступает Qwen3.8-27B. Слабее всего она в многоходовом чате и в инструкциях с множеством ограничений — 50,0% на MultiChallenge и 33,4% на ComplexConstraints v1.1.
Ещё одно ограничение честно названо в самом релизе: looping улучшает рассуждения, но не увеличивает объём фактов в весах — знание в основном определяется общим числом параметров. Поэтому на проверках фактичности модель держится на уровне ровесников, а пробел в знаниях ей предлагается закрывать поиском и инструментами.
Для тех, кто хочет разобраться в looped-архитектуре на практике, релиз даёт редкую возможность: открытые веса, запуск на потребительском железе и отдельная исследовательская версия для экспериментов с глубиной прокрутки. Ограничения при этом стоит держать в голове: цифры — из публикации разработчика, а поведение модели при нестандартном числе прогонов изучено лишь предварительно.


