[FAQ] Как синхронизировать движения губ с речью?

2018-06-27T15:31:10+03:00

Я дизайнер, занимаюсь 3D-анимацией. Мне требуется синхронизировать речь с движением губ нарисованного персонажа. Звуковой файл с речью создан при помощи компьютерного голоса. Как получить информацию о фазах движения рта, синхронизированных с речью?

Синтезатор речи при чтении текста вслух возвращает информацию о виземах. Визема - это форма губ, соответствующая определенному звуку речи. SAPI 5 поддерживает список из 21 виземы. В консольном приложении "Балаболки" есть параметр командной строки, позволяющий создавать текстовый файл с виземами: приложение записывает звуковой файл, а затем воспроизводит его для того, чтобы получить виземы с привязкой по времени. Используя метки времени, можно синхронизировать губы нарисованного персонажа с речью из звукового файла.

Текстовый файл с виземами будет выглядеть так:

CODE:

[00:00:00,000] 0[00:00:00,049] 21[00:00:00,122] 4[00:00:00,171] 14[00:00:00,217] 4[00:00:00,289] 21[00:00:00,376] 3[00:00:00,478] 14[00:00:00,530] 20[00:00:00,631] 4[00:00:00,759] 0

Пример команды запуска консольной утилиты:

CODE:

balcon -f file.txt -w file.wav -vs viseme.txt

Статистика: Добавлено balabolka — 27 июн 2018 15:31

MyTTS

[FAQ] Как синхронизировать движения губ с речью?