MyTTS

Нейро-синтез речи своими руками

2021-05-31T19:21:58+03:00

speech, Так все современные экспериментальные движки основаны именно на нем. Сам по себе он лишь заготовка, которую нужно прилично обточить по вкусу напильником. А еще лучше полноценный станочный парк привлечь :)

Статистика: Добавлено Lecron — 31 май 2021 19:21

Нейро-синтез речи своими руками

2021-05-31T11:10:10+03:00

Я не в теме, но попалась такая ссылка - Tacotron

Статистика: Добавлено speech — 31 май 2021 11:10

Нейро-синтез речи своими руками

2021-05-27T18:08:56+03:00

Возможно ли сделать, чтобы - examples_tts.py копировал по 140 символов из файла книга.txt и записывал файлы 1.wav и 2 wav и т.д.?

В принципе не сложно. Но какой в этом смысл? Движкам надо передавать осмысленные фразы, желательно законченные предложения. А 140 символов, будут попадать на середнину слов.

Статистика: Добавлено Lecron — 27 май 2021 18:08

Нейро-синтез речи своими руками

2021-05-27T16:20:09+03:00

Вроде работает, поставил так -

1: Закинул на c файл examples_tts.py

2: Установил - https://www.anaconda.com/products/individual#Downloads (64-Bit Graphical Installer (477 MB)

3: потом запустил Anaconda Powershell Prompt (anaconda3) от админа.
вбил
pip install torch==1.8.1+cpu torchaudio===0.8.1 -f https://download.pytorch.org/whl/torch_stable.html
pip install PySoundFile
pip install OmegaConf

4: cd c:\
потом
python examples_tts.py

Возможно ли сделать, чтобы - examples_tts.py копировал по 140 символов из файла книга.txt и записывал файлы 1.wav и 2 wav и т.д.?

Статистика: Добавлено GIS88 — 27 май 2021 16:20

Нейро-синтез речи своими руками

2021-04-28T12:44:34+03:00

speeck, А куда дальше-то? Попробовал конвертировать сетку в OpenVINO для работы на встроенной видюхе — навыков не хватило, слишком чужая для меня тема. В нынешнем варианте, для работы синтез не пригоден. Ни по скорости, ни по стабильности результата, ни по простоте использования. Так, побаловаться, оценить прогресс.

Статистика: Добавлено Lecron — 28 апр 2021 12:44

Нейро-синтез речи своими руками

2021-04-27T22:54:26+03:00

Lecron, тестировали дальше?

Статистика: Добавлено speeck — 27 апр 2021 22:54

Нейро-синтез речи своими руками

2021-04-02T14:28:36+03:00

На маленьких фрагментах впечатление совсем иное, поэтому решил сделать побольше.
Впечатления. Ксения — голос классный, но непонятные паузы и проглатывания, рвут восприятие текста. Наташа — голос похуже, но восприятие ровное. Айдар — голос картавый, много рычащих, восприятие излишне монотонное.

: kseniya.mp3

: natasha.mp3

: aidar.mp3

Вот бы губы Никанора Ивановича да приставить к носу Ивана Кузьмича, да взять сколько-нибудь развязности, какая у Балтазара Балтазарыча, да, пожалуй, прибавить к этому ещё дородности Ивана Павловича — я бы тогда тотчас же решилась. :-) А пока наверное останусь на Ольге.

: Loquendo Olga.mp3

Статистика: Добавлено Lecron — 02 апр 2021 14:28

Нейро-синтез речи своими руками

2021-04-01T14:34:51+03:00

Вышел новый проект, попытка упростить синтез своими руками. С лёту конечно не всё получилось, до готового продукта еще далеко, но шаг сделан приличный.
Мы Опубликовали Качественный, Простой, Доступный и Быстрый Синтез Речи

В целом, установить на свой ПК удалось с минимумом камланий. Повторить путь вообще без затруднений. Проверялось на Windows 10 x64, Python 3.9 x64, only CPU
Зависимостей минимум. Установка:

CODE:

pip install torch==1.8.1+cpu torchaudio===0.8.1 -f https://download.pytorch.org/whl/torch_stable.htmlpip install PySoundFilepip install OmegaConf

Голоса скачиваются сами при первом к ним обращении. Немного измененный демонстрационный исходный файл из проекта.

examples_tts.py.zip

До Яндекс голосов может и не дотягивает, но качество мне пока понравилось. На длинных текстах еще не проверял.

: aidar_16khz.mp3

: kseniya_16khz.mp3

: natasha_16khz.mp3

Минусы:
- нужна расстановка ударений для каждого слова. Без них говорит вроде правильно, но как с кашей во рту.

: aidar_16khz.mp3

- baya, irina теряет слова. Например в 'С+олнечный кр+уг, н+ебо вокр+уг.', после запятой бэ-мэ.
- меееедленно. На 4 ядрах i5-4440 на 44 секунды результата потрачено 28 секунд машинного времени. Серьезные GPU, судя по статье, дают прирост раз в 30. Будет ли толк от интеловой интеграшки, пока не знаю.
- Текст надо передавать по одному предложению. Паузы между предложениями у каждого голоса разные.

В целом, буду экспериментировать дальше. Знать бы что книжка точно интресная, а не будет заброшена после десятка-другого страниц, можно было бы и перейти, а пока — не знаю.

Статистика: Добавлено Lecron — 01 апр 2021 14:34

Нейро-синтез речи своими руками

2021-02-27T17:50:56+03:00

"Украинский стартап Respeecher научился практически идеально синтезировать голос."

Искусственный интеллект воссоздает голос Высоцкого. Голос восоздан с помощью технологии Vera Voice:

► Показать

Статистика: Добавлено skreb — 27 фев 2021 17:50

Нейро-синтез речи своими руками

2021-02-26T14:25:48+03:00

Чтобы оффлайн использовать..

SAPI удобнее, но для пакетной озвучки непринципиально. Используя сейчас balcon (консольную Балаболку) я вообще не знаю, что там под капотом, и появись некий speechcon, переключится не составит проблем. Лишь бы был хоть сколько-то готовый пакет, а не конструктор "всё сам" — найди обучающий датасет сам, настрой параметры обучения сам, обучи сетку сам, используй готовую модель сам, сам, сам, сам.

Статистика: Добавлено Lecron — 26 фев 2021 14:25

Нейро-синтез речи своими руками

2021-02-26T13:40:54+03:00

SAPI5 то на кой вам сдался?

Чтобы оффлайн использовать...
Все, что Вы привели в качестве примера, это же корпоративные разработки, кроме "утюга", а "домашние" разработки, где они, как из можно использовать?

Статистика: Добавлено Primkray — 26 фев 2021 13:40

Нейро-синтез речи своими руками

2021-02-25T21:14:00+03:00

Украинский стартап Respeecher научился практически идеально синтезировать голос.

Скорее не синтезировать, а перекрашивать. Имеете голос Брежнева, сами говорите в микрофон, из колонок звучит сказанное, но уже голосом Брежнева. Плюс неизвестно, насколько обработка реалтаймовая. Для студий потратить 1 час на минуту озвучки — не проблема.

Статистика: Добавлено Lecron — 25 фев 2021 21:14

Нейро-синтез речи своими руками

2021-02-25T14:26:40+03:00

В продолжение темы:
"Украинский стартап Respeecher научился практически идеально синтезировать голос. У ребят уже есть контракт с голливудской студией из пятёрки кинокомпаний фабрики грёз."

Статистика: Добавлено Primkray — 25 фев 2021 14:26

Нейро-синтез речи своими руками

2021-02-22T19:41:31+03:00

Народ а что насчет этой статьи?? Кто опробует?

Периодически сталкиваюсь с проектами в данном направлении. На Хабре за прошлый год две или три статьи было с демками. Пока глухо. Либо качество хромает. Либо скорость — до 0.1х реал-тайма. Либо то и другое вместе. Ничего готового даже для потребителей-новаторов, пока нет. Только для исследований и несистематического озвучивания, для которого таки проще нанять диктора.

Кстати, недавно натыкался на попытку автоматического согласования голоса и текста. Без этого, даже при больших вычислительных ресурсах, толку мало. Слишком много ручной работы для разметки. А так, загрузил аудиокнигу(и), загрузил их тексты и вот у вас сотни часов корпуса. Обучай, не хочу.

Статистика: Добавлено Lecron — 22 фев 2021 19:41

Нейро-синтез речи своими руками

2021-02-22T17:17:29+03:00

Народ а что насчет этой статьи?? Кто опробует?
https://proglib.io/p/golosovoy-deepfake ... 2019-12-11

Статистика: Добавлено Pin240 — 22 фев 2021 17:17