Новости · Исследования

Stanford открыла Memorilla: 16 токенов памяти вместо целой коллекции документов

Исследователи из Stanford SNAP выпустили открытый модуль памяти Memorilla: он сжимает коллекцию документов в 16 векторов и подставляет их замороженной языковой модели. Код и чекпоинты опубликованы под Apache 2.0.

Редакция DeepMe
· 2 мин чтения
Стопка бумажных карточек, лента к керамическому кубику и отдельный шар рядом с ним.
Иллюстрация к теме новости
Первоисточник: www.marktechpost.comМатериал источника от 14.11.2026

Адаптация и понятное объяснение для начинающих. Заявления приведены по материалу источника.

Что произошло

Группа SNAP под руководством Юре Лесковца (Stanford, с соавторами из Торонто, Пенна и MIT) открыла исходники Memorilla — модуля памяти для языковых моделей. Модель остаётся замороженной, а отдельная надстройка читает всю коллекцию документов и превращает её в 16 memory-токенов — компактных векторов, которые подставляются перед вопросом пользователя.

Обучается только сам модуль: 194 млн параметров при декодере Qwen3-8B. Энкодер (Qwen3-Embedding-4B) и декодер не трогают. Код, рецепты обучения и чекпоинты опубликованы под лицензией Apache 2.0.

По данным самой команды, на FactKG модуль дал 84,33% против 80,43% у полного контекста — при в 108 раз меньшем числе документных токенов. Средний результат по 8 бенчмаркам — 49,68. Слабое место тоже названо: на PubMedQA 59,00% против 69,00% у LLMLingua-2.

Что это значит для начинающего

Обычно у модели два пути работать с большим объёмом текста. Первый — засунуть всё в контекстное окно (лимит токенов, которые модель видит за раз): надёжно, но медленно и дорого при росте истории. Второй — retrieval (поиск похожих фрагментов): быстро, но можно пропустить слабые подсказки. Memorilla предлагает третий вариант: заранее один раз закодировать документы, а на каждый вопрос обучаемо выбирать, что важно.

Для новичка это полезный пример архитектуры: большая модель не дообучается, а небольшая надстройка расширяет её возможности. Плюс есть готовые чекпоинты, так что можно посмотреть, как это устроено, не обучая ничего с нуля. Заявленное ускорение — тоже аргумент: по данным команды, при 512 документах ответ занимает 0,74 с против 19,9 с у полного контекста.

Но стоит держать в голове ограничения. Все цифры — самоотчёт исследователей, а не независимая проверка. Быстрый старт требует Linux, CUDA и GPU с 80 ГБ памяти (рецепты гоняли на H100); квантованных вариантов не заявлено. Первый запуск скачивает около 25 ГБ моделей. Каждый чекпоинт работает только со своим декодером.

На что обратить внимание

  • Метод проигрывает на части задач: сжатие почти не помогает, когда документы и так короткие (как абстракты PubMedQA).
  • 16 токенов — жёсткий потолок: для вопросов, где нужны мелкие детали, это может быть мало.
  • Кэш памяти для очень больших коллекций требует много видеопамяти (по данным команды — 80 ГиБ при 4 млн документов).
  • Доступность и поддержка в России источником не описаны — не стоит делать выводов.

Что пока неизвестно

Нет независимых воспроизведений результатов. Не раскрыты квантованные варианты и поведение на слабом железе. Неясно, насколько хорошо модуль переносится на другие модели, кроме Qwen3-8B. Если хотите разобраться в теме глубже, начните с материалов о генеративных моделях в научных исследованиях.