НОВИНКИ ИИ · ГОЛОС И ОЗВУЧКА

Fish Audio Drama 3: озвучка сцены с несколькими героями

Большинство синтезаторов речи читают текст одним голосом и одной интонацией. Drama 3 от Fish Audio устроена иначе: это модель, которой можно «режиссировать» исполнение, а в одном тексте могут разговаривать до шестнадцати персонажей. Для автора клипа с диалогом, мини-сценкой или закадровым спором это интересный инструмент. Разберём, что подтверждено и как к нему подступиться.

Что выпустили

13 октября 2026 года Fish Audio в журнале изменений объявила о запуске Drama 3. Идентификатор модели в API — drama-3. Разработчик описывает её как синтезатор речи, которым управляют обычным человеческим языком: без заранее фиксированного набора тегов для тона, темпа и характера героя.

Подробности опубликованы на карточке модели на Hugging Face. Там указано, что Drama 3 — модель типа «смесь экспертов»: 35 миллиардов параметров всего и около 3 миллиардов активных на каждый шаг. Заявлена поддержка 83 языков. Веса распространяются в открытом виде, поэтому модель можно запускать на собственном оборудовании. Все заявления о качестве принадлежат разработчику; мы своих замеров не делали.

Источники: журнал изменений Fish Audio и карточка Drama 3 на Hugging Face, проверены 7 ноября 2026 года.

Режиссура вместо ползунков

Главная идея Drama 3 — задавать подачу словами. Вместо подбора численных параметров вы пишете, как должна звучать реплика: тихо, устало, с усмешкой. Отдельно на карточке описаны точечные пометки неречевых звуков в квадратных скобках, например [sighs] (вздох) и [laughs] (смех). Их ставят там, где звук должен прозвучать.

Ещё одна возможность: в качестве контекста можно подать предыдущие дубли, чтобы править и последовательно улучшать исполнение. Для автора это похоже на работу с актёром — «ещё раз, но тише». Длинный текст модель сама делит на фрагменты, и их можно получать потоком по частям.

Несколько героев в одном тексте

В тексте используются метки говорящих от <|speaker:0|> до <|speaker:15|>. Это даёт до 16 героев в одной озвучке. Практически такая схема подходит для диалога двух друзей в клипе, рекламного ролика с двумя голосами или аудиосказки.

Совет по структуре: сначала распишите сцену на реплики, закрепите за каждым героем номер и характер (одной строкой), и только потом отправляйте текст на озвучку. Так проще сравнивать дубли и не путать героев.

Что это меняет для автора клипов

Музыкальные клипы редко состоят только из песни: между куплетами появляются сценки, реплики героев, голос из телевизора или звонка. Раньше такие вставки записывали с друзьями или брали безликий синтез. Модель, которой можно объяснить характер реплики и в которой несколько голосов живут в одном файле, делает черновые диалоги быстрыми: за вечер можно собрать озвучку всей сцены и сразу посмотреть, держится ли она вместе с музыкой.

Открытые веса добавляют ещё один плюс — независимость от одного сервиса. Если проект долгий, вы можете сохранить связку «модель + настройки» у себя. Но и ответственность растёт: проверка согласия, лицензия и маркировка синтетического голоса остаются на вас.

Клонирование и согласие

Drama 3 умеет клонировать голос по короткому эталонному фрагменту звука и его расшифровке; на карточке в примере используется клип длиной 3,9 секунды. Это очень низкий порог, поэтому ответственность целиком лежит на пользователе.

Клонируйте только свой голос или голос человека, который дал явное согласие. Не берите записи артистов, блогеров, знакомых и случайных людей. Храните подтверждение согласия вместе с проектом, предупреждайте зрителей о синтетической озвучке и не создавайте реплик, которых человек никогда бы не одобрил.

Готовые запросы

Примеры ниже — учебные. Мы не отправляли их в модель, и точный синтаксис управления нужно сверять с документацией Fish Audio. Подставьте свои имена и детали.

<|speaker:0|> Ты опять не спал всю ночь? [sighs]
<|speaker:1|> Я дописывал припев. [laughs] Хочешь послушать?
<|speaker:0|> Давай. Только тихо, соседи спят.

Короткий диалог двух героев: вздох и смех обозначены тегами, интонацию остальных реплик задайте описанием сцены.

Сцена: ночная кухня. Герой 0 — уставший, говорит вполголоса. Герой 1 — взволнованный, чуть торопится. Исполнить естественно, без театральности, паузы между репликами короткие.

Описание режиссёрским языком: кто где находится, в каком настроении, какой темп. Держите его коротким и конкретным.

Повтори прошлый дубль, но второй герой говорит спокойнее и на полтона тише. Первый герой без изменений.

Образец правки: меняем одного героя и фиксируем остальных, чтобы не терять удачные реплики.

Открытые веса и лицензия

На карточке указана лицензия Fish Audio Community License. Прочитайте её полностью до использования модели в коммерческом проекте: условия для рекламы, продуктов и размещения модели у третьих лиц могут отличаться, и мы их здесь не пересказываем. Для запуска у себя потребуется серьёзное оборудование: производитель проводил тесты на видеокартах NVIDIA H200 и поддерживает запуск через SGLang-Omni и vLLM-Omni. Минимальные требования к железу на странице не указаны, а сервис в облаке Fish Audio доступен через API.

Как применить в работе над клипом

1. Распишите диалог и закрепите номера героев.
2. Сделайте короткий пробный фрагмент в 5–10 секунд и проверьте произношение имён.
3. Подбирайте подачу описанием, а не количеством тегов.
4. Наложите озвучку на черновой монтаж и проверьте, не перекрывает ли она вокал.

Дальше полезно прочитать: раскадровка клипа, клип из песни с помощью ИИ и один герой в серии кадров.

Ограничения

• Заявления о качестве и сравнения с другими моделями принадлежат разработчику; у нас нет собственных замеров.
• Качество на русском языке мы не проверяли: начните с короткого фрагмента.
• Цена API на момент проверки не подтверждена официальной страницей, поэтому не планируйте бюджет по пересказам.
• AI Music не интегрирован с Fish Audio, и мы такую интеграцию не обещаем.

Вопросы и ответы