Stanford открыла Memorilla: 16 токенов памяти вместо целой коллекции документов
Исследователи из Stanford SNAP выпустили открытый модуль памяти Memorilla: он сжимает коллекцию документов в 16 векторов и подставляет их замороженной языковой модели. Код и чекпоинты опубликованы под Apache 2.0.

Адаптация и понятное объяснение для начинающих. Заявления приведены по материалу источника.
Что произошло
Группа SNAP под руководством Юре Лесковца (Stanford, с соавторами из Торонто, Пенна и MIT) открыла исходники Memorilla — модуля памяти для языковых моделей. Модель остаётся замороженной, а отдельная надстройка читает всю коллекцию документов и превращает её в 16 memory-токенов — компактных векторов, которые подставляются перед вопросом пользователя.
Обучается только сам модуль: 194 млн параметров при декодере Qwen3-8B. Энкодер (Qwen3-Embedding-4B) и декодер не трогают. Код, рецепты обучения и чекпоинты опубликованы под лицензией Apache 2.0.
По данным самой команды, на FactKG модуль дал 84,33% против 80,43% у полного контекста — при в 108 раз меньшем числе документных токенов. Средний результат по 8 бенчмаркам — 49,68. Слабое место тоже названо: на PubMedQA 59,00% против 69,00% у LLMLingua-2.
Что это значит для начинающего
Обычно у модели два пути работать с большим объёмом текста. Первый — засунуть всё в контекстное окно (лимит токенов, которые модель видит за раз): надёжно, но медленно и дорого при росте истории. Второй — retrieval (поиск похожих фрагментов): быстро, но можно пропустить слабые подсказки. Memorilla предлагает третий вариант: заранее один раз закодировать документы, а на каждый вопрос обучаемо выбирать, что важно.
Для новичка это полезный пример архитектуры: большая модель не дообучается, а небольшая надстройка расширяет её возможности. Плюс есть готовые чекпоинты, так что можно посмотреть, как это устроено, не обучая ничего с нуля. Заявленное ускорение — тоже аргумент: по данным команды, при 512 документах ответ занимает 0,74 с против 19,9 с у полного контекста.
Но стоит держать в голове ограничения. Все цифры — самоотчёт исследователей, а не независимая проверка. Быстрый старт требует Linux, CUDA и GPU с 80 ГБ памяти (рецепты гоняли на H100); квантованных вариантов не заявлено. Первый запуск скачивает около 25 ГБ моделей. Каждый чекпоинт работает только со своим декодером.
На что обратить внимание
- Метод проигрывает на части задач: сжатие почти не помогает, когда документы и так короткие (как абстракты PubMedQA).
- 16 токенов — жёсткий потолок: для вопросов, где нужны мелкие детали, это может быть мало.
- Кэш памяти для очень больших коллекций требует много видеопамяти (по данным команды — 80 ГиБ при 4 млн документов).
- Доступность и поддержка в России источником не описаны — не стоит делать выводов.
Что пока неизвестно
Нет независимых воспроизведений результатов. Не раскрыты квантованные варианты и поведение на слабом железе. Неясно, насколько хорошо модуль переносится на другие модели, кроме Qwen3-8B. Если хотите разобраться в теме глубже, начните с материалов о генеративных моделях в научных исследованиях.


