Технические аспекты ИИ

Модели эмбеддингов и мультимодальные модели: как выбрать векторизатор под задачу

Практическое руководство: какие поля читать в карточке модели эмбеддингов, как связаны нормализация и метрика, как провести мини-бенчмарк и принять векторизатор.

Редакция DeepMe
· Обновлено · 7 мин чтения
Три бумажные карточки, керамический шар и металлическая линейка на столе, соединённые лентой.

Выбор модели эмбеддингов редко решается обзором «какая лучше». Практичнее идти от задачи: что вы ищете, по каким данным, насколько важен мультимодальный вход и какой бюджет по памяти и задержке. Дальше модель проверяется на ваших парах «запрос — документ», а не на вендорских таблицах.

Ниже — процедура: как читать карточку модели, когда допустимы усечение и квантование, как связаны нормализация и метрика, и как принять векторизатор по измеримым критериям. Мультимодальность здесь — одно из полей выбора, а не отдельная лекция о том, что такое векторы.

Карточка модели: что читать до запуска

Карточка модели — это набор ограничений, которые превращаются в требования к системе. Полезно выписать их в таблицу до того, как вы что-то запустите.

  • Размерность вектора. Влияет на объём индекса и стоимость сравнения. Больше — не значит точнее для вашей задачи.
  • Максимальная длина входа. Для длинных документов важна стратегия нарезки: чанк, абзац или окно с перекрытием.
  • Поддерживаемые языки. Проверяйте на своих языках и на смешанных текстах, а не по общему списку.
  • Домен и тип входа. Текст, изображение, видео, аудио, документ — и допускается ли смешанный вход в одном запросе.
  • Способ хостинга. Локальная модель, облачный API или гибрид — от этого зависит приватность и эксплуатация.

Отдельный пункт — инструкции под задачу. В документации Google Cloud для мультимодальных эмбеддингов указано, что модель gemini-embedding-2 принимает чередующиеся входы по изображениям, тексту, документам, аудио и видео, а правильная инструкция под задачу помогает оптимизировать векторы. Там же отмечено, что для чисто текстовых сценариев рекомендуется текстовый embedding API. Это не рейтинг моделей, а подсказка: сначала определите тип задачи, потом смотрите на модель.

Полезная деталь из той же документации: у gemini-embedding-2 все модальности делят общее окно контекста, а расход считается по-разному — например, изображение оценивается в 258 токенов, а секунда видео с аудиодорожкой складывается из кадров, звука и временных меток. Если вход превышает окно, превышающая часть отбрасывается. Это прямо влияет на нарезку длинных видео и документов.

Текст, изображения и мультимодальный вход

Вопрос не в том, «умеет ли модель картинки», а в том, нужен ли вам единый вектор для разных модальностей.

Когда достаточно текстовой модели

Если поиск идёт по описаниям, статьям, тикетам и документации, а изображения играют вспомогательную роль, начните с текстового векторизатора. Меньше переменных — проще приёмка.

Когда нужен общий вектор

Если пользователь ищет фотографией, а каталог хранит карточки с текстом, единое пространство упрощает архитектуру: запрос и объект сравниваются напрямую. В документации Google Cloud сказано, что векторы изображений и текста лежат в одном семантическом пространстве с одинаковой размерностью и могут использоваться взаимозаменяемо — например, для поиска изображений по тексту. Это утверждение из документации вендора; проверять его стоит на своих данных.

Практическое следствие: мультимодальность — поле выбора, а не гарантия качества. Если почти все запросы текстовые, мультимодальная модель может оказаться избыточной по сложности и эксплуатации.

Режимы работы: полная размерность, усечение, квантование

Одна и та же модель может работать в разных режимах. Это отдельное решение, и его нужно фиксировать в конфигурации.

Усечение размерности

Некоторые модели позволяют запросить вектор меньшей размерности, чем по умолчанию. В документации Google Cloud для gemini-embedding-2 описан параметр output_dimensionality, а также указано, что для нестандартных размерностей выходные эмбеддинги уже L2-нормализованы (в отличие от gemini-embedding-001). Короткий вектор экономит память индекса, но его влияние на recall нужно измерять на вашей выборке, а не предполагать по названию метода.

Квантование

Сжатие чисел вектора уменьшает объём индекса, но может менять порядок соседей. Допустимо, если после квантования метрики приёмки не падают ниже порога. Проверяйте на том же наборе пар, что и базовую конфигурацию.

Правило: любое изменение размерности или точности — это новая конфигурация, которую нужно прогнать через приёмку заново.

Нормализация и метрика расстояния

Метрика и нормализация — связанная пара. Если векторы приведены к единичной длине, косинусная близость и скалярное произведение дают одинаковый порядок соседей; при разных длинах — уже нет.

МетрикаКогда уместнаЧто проверить
КосинусСравнение направления, текстовый поискНормализованы ли векторы на входе и в индексе
Скалярное произведениеКогда длина вектора несёт смысл или всё нормализованоСогласованность с индексом
ЕвклидовоЗадачи, где важна абсолютная близостьМасштаб координат

Типичная ошибка — смешать векторы из разных моделей или из разных режимов одной модели в одном индексе. Формально размерности совпадут, но пространства будут разными, и поиск станет непредсказуемым.

Второй нюанс — симметричный и асимметричный поиск. Короткий запрос и длинный документ — это разные типы текста; инструкции под задачу и формат входа для них могут отличаться. В документации Google Cloud приведены отдельные примеры форматирования запросов и документов для симметричных и асимметричных сценариев.

И ещё одно предупреждение из той же документации: скалярное произведение эмбеддингов — это метрика похожести, а не откалиброванная вероятность, и распределения оценок различаются между сценариями. Поэтому фиксированный порог по абсолютному значению плохо подходит для оценки качества; для поиска надёжнее ранжирование, а для классификации — преобразование оценки, например сигмоида.

Мини-бенчмарк: небольшой набор пар и порог приёмки

Полноценная оценка retrieval — отдельная работа. Но приёмку можно сделать компактно и воспроизводимо.

  1. Соберите небольшой набор пар «запрос — релевантный документ». Берите реальные формулировки пользователей, включая опечатки и смешанные языки. Размер выбирайте по числу типов запросов: важно покрыть каждый тип хотя бы несколькими примерами.
  2. Добавьте нерелевантные документы. Без них метрики будут завышены.
  3. Зафиксируйте конфигурацию. Модель, режим размерности, квантование, метрика, способ нарезки — всё в одном файле.
  4. Считайте recall@k и MRR. Recall@k показывает, попал ли релевантный документ в топ-k; MRR — насколько высоко он стоит.
  5. Задайте порог до запуска. Например: «recall@5 не ниже значения базовой конфигурации, MRR не падает больше чем на оговорённую величину». Порог выбирайте из требований продукта, а не из чужих цифр.
  6. Сравнивайте по одному изменению. Сначала модель, потом размерность, потом квантование.

Такой набор не заменяет офлайн-оценку на большой выборке, но отсекает решения, которые ломают поиск ещё до продакшена.

Учебный пример: каталог товаров с фото и описанием

Учебный, условный пример: каталог, где у товара есть название, описание и фотография. Запросы бывают текстовые («термокружка с широким горлом») и визуальные (фото похожего товара). Все числа ниже — вымышленные, они показывают логику процедуры, а не результаты исследования.

Шаг 1. Два кандидата

  • Кандидат A — текстовая модель: векторизуем название и описание, фото не индексируем.
  • Кандидат B — мультимодальная модель: один вектор на карточку, включая изображение и текст.

Шаг 2. Набор пар

Условно: 60 текстовых запросов с известными релевантными карточками и 20 визуальных запросов по фото. Для кандидата A визуальная часть набора ожидаемо провалится — это не провал модели, а несовпадение с задачей.

Шаг 3. Решение

Если визуальные запросы редки, кандидат A может оказаться достаточным, а фото закрывается отдельным поиском. Если визуальный поиск — часть продукта, кандидат B проверяется на обеих частях набора, и приёмка идёт по худшей из них.

Шаг 4. Режим

Для кандидата B отдельно проверьте усечённую размерность и квантование: экономия памяти имеет смысл только если метрики на обоих типах запросов остаются выше порога.

Типичные ошибки выбора векторизатора

  • Сравнение векторов из разных моделей в одном индексе.
  • Забытая или предполагаемая нормализация при смене модели или размерности.
  • Усечение размерности без повторной приёмки.
  • Смешение симметричного и асимметричного поиска в одном наборе оценки.
  • Ориентация на вендорские бенчмарки без проверки на своих данных: они полезны как ориентир, но не подтверждают качество в вашем домене.
  • Выбор мультимодальной модели «на будущее», когда текущие запросы текстовые.

Чек-лист приёмки

  • Задача и тип поиска сформулированы: симметричный или асимметричный, какие модальности.
  • Карточка модели прочитана: размерность, максимальная длина входа, языки, домен, хостинг.
  • Набор пар собран из реальных запросов, есть нерелевантные документы.
  • Порог recall@k и MRR зафиксирован до сравнения.
  • Режим размерности и квантование проверены отдельно.
  • Нормализация и метрика согласованы между векторизатором и индексом.
  • Конфигурация записана и воспроизводима.

Если после этого остаются сомнения, полезно свериться с материалами по RAG и архитектурам LLM-приложений и по инфраструктуре для ИИ-проектов: выбор векторизатора влияет и на слой поиска, и на эксплуатацию.

Характеристики моделей и API меняются, поэтому перед внедрением сверяйтесь с актуальной документацией провайдера и перепроверяйте поведение нормализации и ограничения на длину входа.

Материалы по теме: Gemini Embedding 2  |  Gemini Enterprise Agent Platform  |  Google Cloud Documentation.