Сравнения и обзоры

Синтез речи и аудиомодели: как сравнить TTS на русском скрипте

Воспроизводимая методика сравнения моделей синтеза речи на русском: тест-скрипт, слепой замер, объективные и субъективные метрики и правила выбора.

Редакция DeepMe
· Обновлено · 8 мин чтения
Ряд одинаковых бумажных карточек и керамических шаров, соединённых лентой на столе.

Сравнивать модели синтеза речи «на слух» по демо-страницам вендоров почти бесполезно: демо подобраны под сильные стороны модели, а ваш текст — нет. Рабочий подход — один русскоязычный тест-скрипт, одинаковые условия прогона, слепое прослушивание и разделение метрик на объективные и субъективные. Ниже — методика, которую можно повторить на любой модели синтеза речи, включая модели синтеза речи Google и альтернативы, плюс таблица-шаблон и правила выбора под сценарий.

Сразу оговорка: все числа в таблице ниже — учебный локальный пример для демонстрации формата, а не результат исследования и не рейтинг моделей. Характеристики конкретных моделей и тарифы проверяйте по документации вендора на момент замера.

Зачем сравнивать TTS-модели на одном скрипте

Демо вендора отвечает на вопрос «как модель звучит на удобном ей тексте». Вам нужен ответ на другой вопрос: «как она справится с моими числами, аббревиатурами и именами». Разница принципиальна. Модель может звучать естественно на простых предложениях и ломаться на дате, сумме или названии организации — а именно эти фрагменты несут ключевую информацию в озвучке.

Единый скрипт убирает главный источник искажений: разный текст в разных прогонах. Когда все модели читают одни и те же фразы, различия в оценках начинают отражать поведение модели, а не случайный подбор материала.

Методика: скрипт, слепое прослушивание, шкалы, прогоны

Тест-скрипт: фразы с «ловушками»

Соберите короткий скрипт, где каждая фраза проверяет отдельный тип риска. Ориентировочный набор:

  • Числа и суммы — сумма с разрядной записью и сумма с сокращением единицы.
  • Даты и время — диапазон дат и время с минутами.
  • Аббревиатуры — «API», «ГОСТ», «НДС», «ИТ-отдел».
  • Имена и топонимы — фамилия с неочевидным ударением, название города.
  • Омографы — слова, которые читаются по-разному в зависимости от контекста (например, «замок» как строение и как механизм).
  • Длинная интонационная фраза — предложение с перечислением, чтобы увидеть, где модель «сбивает» дыхание и паузы.
  • Смешанный фрагмент — число, аббревиатура и имя в одном предложении.

Держите скрипт в одном файле и не меняйте его между прогонами. Если правите текст — начинайте замер заново, иначе сравнение теряет смысл.

Слепое прослушивание и шкалы

Сгенерируйте аудио, переименуйте файлы в нейтральные коды (A, B, C…) и перемешайте порядок. Слушатель не должен знать, где какая модель. Оценки — по шкале 1–5 отдельно по каждой метрике, а не одной общей оценкой «нравится/не нравится»: общая оценка плохо объясняет, что именно сломалось.

Минимум два слушателя дают более устойчивую картину, чем один: расхождения в оценках сами по себе информативны. Если по фразе оценки расходятся на два балла и больше, отметьте её как спорную и разберите отдельно.

Число прогонов

Один прогон не показывает стабильность. Прогоните скрипт в каждой модели несколько раз (например, три) и сравните результаты между прогонами: совпадают ли ударения, не «плывут» ли числа, не меняется ли интонация на одной и той же фразе. Нестабильность между прогонами — отдельный риск для продакшна, даже если один удачный прогон звучит отлично.

Объективные метрики: задержка, стоимость минуты, стабильность

Эти метрики можно измерить без вкусовых оценок, и они напрямую влияют на выбор под сценарий.

  • Задержка до первого звука. Критична для интерактивных сценариев: голосового ассистента, IVR, чтения вслух в интерфейсе. Для заранее записанной озвучки медиа она почти не важна.
  • Стоимость минуты. Считайте не за запрос, а за минуту готового аудио: возьмите тариф за единицу текста у вендора, посчитайте символы в скрипте и переведите в минуты по фактической длительности аудио. Тарифы меняются, поэтому фиксируйте дату расчёта. У Google Cloud, например, биллинг привязан к числу символов, отправленных на синтез, включая пробелы и символы новой строки, а теги SSML (кроме тега <mark>) тоже входят в подсчёт — это стоит учитывать в расчёте (страница тарифов Google Cloud).
  • Стабильность между прогонами. Доля фраз, где ударение, число или пауза совпали во всех прогонах. Это измеримая величина, а не впечатление.
  • Доля фраз с ошибкой в ключевом фрагменте. Считайте отдельно от общей разборчивости: ошибка в числе или дате весит больше, чем смазанная интонация.

Субъективные метрики: разборчивость, интонация, естественность

Субъективные оценки не отменяются — просто их нужно отделить от объективных и явно пометить как мнение слушателей.

  • Разборчивость — можно ли понять фразу с первого прослушивания, без перемотки.
  • Интонация — соответствуют ли паузы и ударения смыслу: вопрос звучит как вопрос, перечисление — как перечисление.
  • Естественность — не возникает ли ощущения «робота» на длинной фразе.
  • Уместность для сценария — подходит ли манера подачи для IVR, новостной озвучки или ассистента. Одна и та же модель может быть уместна в одном сценарии и неуместна в другом.

Полезно фиксировать не только балл, но и короткий комментарий: «число прочитано верно, но пауза разорвала смысловую группу». Комментарии потом объясняют таблицу.

Обработка русского: числа, аббревиатуры, имена, ударения

Русский язык даёт модели несколько типовых точек отказа, и их стоит проверять целенаправленно.

  • Числа и формат записи. Одна и та же сумма может быть прочитана целиком или разбита иначе. Проверяйте разные форматы: с пробелом, с точкой, с сокращением «тыс.».
  • Аббревиатуры. Часть читается по буквам, часть — как слово. Проверьте те, что встречаются именно в вашем домене.
  • Имена и топонимы. Ударения в фамилиях и названиях — частая ошибка. Если в вашем сценарии есть имена клиентов или сотрудников, добавьте их в скрипт.
  • Омографы и контекст. Слова, зависящие от смысла, показывают, насколько модель учитывает контекст, а не только буквы.
  • Смешанные фрагменты. Самое сложное — когда число, аббревиатура и имя стоят рядом.

Отдельно отметьте, поддерживает ли модель управление подачей через текст: такие возможности различаются между моделями и версиями, поэтому проверяйте их по актуальной документации вендора, а не по обзорам. Если управление подачей есть, добавьте в скрипт проверку, что инструкция действительно меняет тон и темп, а не игнорируется.

Разбор ошибки: WER против передачи ключевой информации

Распространённая ловушка — оценивать синтез только по доле ошибок распознавания (WER). Логика кажется простой: прогнали аудио через распознавание, сравнили с исходным текстом, получили число. Проблема в том, что низкий WER не гарантирует, что слушатель правильно понял ключевые детали. Авторы SP-MCQA прямо показывают разрыв между пословной точностью и точностью передачи ключевой информации и отмечают, что даже сильным моделям не хватает устойчивой нормализации текста и фонетической точности (препринт на arXiv).

Учебный пример, чтобы увидеть механику. Фраза: «Поставка с 14 марта, сумма — 12 480 рублей, получатель — ИТ-отдел». Модель читает сумму верно, но ставит паузу после «сумма» так, что сумма сливается с «получатель». Распознавание может дать почти тот же текст — WER низкий. А слушатель, который записывает данные на слух, переспросит: к чему относится сумма. Формально ошибки в словах нет, но ключевая информация передана хуже.

Поэтому в методике нужна отдельная проверка: вы задаёте по прослушанному фрагменту контрольные вопросы (какая дата, какая сумма, кто получатель) и считаете долю правильных ответов. Это ближе к тому, как аудио будет использоваться в реальности, чем пословное сравнение.

Таблица результатов (учебный локальный пример)

Ниже — шаблон, заполненный условными числами, чтобы показать формат. Модели обозначены как A, B и C; это не названия продуктов и не рейтинг.

МетрикаМодель AМодель BМодель C
Задержка до первого звуканизкаясредняявысокая
Стоимость минуты (расчёт на дату замера)низкаясредняявысокая
Стабильность ударений между прогонамивысокаясредняясредняя
Ошибки в числах и датахредкоиногдаредко
Разборчивость (1–5, два слушателя)4 / 44 / 55 / 4
Интонация длинной фразы (1–5)3 / 44 / 44 / 5
Ответы на контрольные вопросывысокая долясредняя долявысокая доля

Формат важнее чисел: он заставляет фиксировать и объективные, и субъективные результаты рядом, чтобы решение не опиралось на одно впечатление.

Правила выбора модели под сценарий

Единого «лучшего» синтеза нет — есть подходящий под задачу. Практические правила:

  1. Интерактивный ассистент или IVR. Приоритет — задержка до первого звука и стабильность. Естественность важна, но проигрывает по весу скорости отклика.
  2. Озвучка медиа и длинных материалов. Приоритет — интонация на длинных фразах и стабильность между прогонами; задержка почти не важна, стоимость считается на объём.
  3. Озвучка с числами, датами и именами. Приоритет — доля ошибок в ключевых фрагментах и ответы на контрольные вопросы, а не общая «красивость» голоса.
  4. Мультиязычный продукт. Проверяйте не только наличие языков, но и качество именно на русском скрипте, если русский — один из основных языков аудитории.
  5. Жёсткий бюджет. Считайте стоимость минуты на вашем реальном объёме и с учётом разметки, а не по демо-тарифу.

Если две модели близки по субъективным оценкам, решайте по объективным метрикам и по стоимости. Если близки по объективным — по контрольным вопросам на ключевую информацию.

Ограничения методики и что перепроверить самостоятельно

  • Два слушателя — минимум для ориентира, но не статистически надёжная выборка. Для важного решения увеличьте число слушателей и фраз.
  • Оценки субъективны и зависят от сценария: то, что хорошо для новостей, может не подойти для ассистента.
  • Тарифы, число голосов, поддержка языков и статус preview-моделей меняются. Перед расчётом стоимости и выбором модели сверьтесь с актуальной документацией вендора на дату замера.
  • Выводы исследования SP-MCQA получены на англоязычном новостном наборе (NPR); переносить их на русский язык без отдельной проверки нельзя.
  • Методика не заменяет приёмку готового аудио под конкретный жанр и не описывает производственный пайплайн озвучки — это отдельные задачи.

Если вам нужен обзор самих моделей и их возможностей, начните с раздела ИИ-поиск и обзоры моделей; если сравниваете голосовых агентов целиком, пригодится материал Обзоры ИИ-агентов.