MyTTS

Тематические словари • Словарь Орфоэпический в формате замен dic (для Балаболки и Демагога)

2021-04-15T09:13:14+03:00

Только не пойму зачем шаблонизация - всё устраивает и в существующем формате...

Мне понадобилось ставить ударение в каждом слове. Словообразование у современных авторов безгранично, а словарь не настолько полон как вам кажется. Если без шаблонизации ударение ставилось на моем тестовом отрывке в 94% слов, после нее, почти в 99%. И как ни странно, ставилось правильно :)
Зачем мне 795 правил, которые можно заменить одним *айск*=Айск? Причем шаблон покрывает также все словоформы Бискайский (залив), который в основном словаре отсутствует. А еще есть город Зарайск и наверняка много другого.
Плюс мой алгоритм почти не теряет скорость от использования шаблонов. Это куда эффективнее, чем загружать 3 млн готовых словоформ.

Кстати, по поводу существующего формата. А вы уверены, что это действительно лучший, а не вариант от безысходности? Который просто не попадал в руки способному применить к нему числовые алгоритмы, а "причесывать" вручную, такое просто невозможно. Что и подтверждается множеством косяков.

Статистика: Добавлено Lecron — 15 апр 2021 09:13

Тематические словари • Словарь Орфоэпический в формате замен dic (для Балаболки и Демагога)

2021-04-14T20:45:34+03:00

wasyaka, Вижу, вы чаще всего радеете за корректность словаря. Остаток от моей шаблонизации для этого хорошо подходит. Буквально за минуту просмотра в других целях, наткнулся на как минимум спорные правила:

Только не пойму зачем шаблонизация - всё устраивает и в существующем формате...
А ошибки - куда ж без них - были есть и будут...
Но уменьшить их кол-во пытаюсь...

Статистика: Добавлено wasyaka — 14 апр 2021 20:45

Тематические словари • Словарь Орфоэпический в формате замен dic (для Балаболки и Демагога)

2021-04-11T13:04:59+03:00

wasyaka, Вижу, вы чаще всего радеете за корректность словаря. Остаток от моей шаблонизации для этого хорошо подходит. Буквально за минуту просмотра в других целях, наткнулся на как минимум спорные правила:

язь=Язь
язю=язЮ
язя=язЯ

Что интересно, интернет-ресурсы для язЯ не видят проблем, хотя показывают, что это склонение имени. Ухо режет. Пошел к Язю. Спросил у Язя. И даже если язь это рыба, отношения не меняет — в кишках у Язя.

яицкая=ЯИцкая
яицкие=ЯИцкие
яицкий=ЯИцкий
яицким=ЯИцким

ягодиц=ЯгодИц
ягодица=ЯгодИца

Ощущение, что словарь разрешающий проблемы, превратили в словарь омографов, создающий проблемы.

юстировал=юстировАл
юстируй=юстирУй
со всеми словоформами

И опатьже, сервисы ударений проблем не видят. А вот склоняющие ресурсы, например wiktionary показывают правильную, не режущую ухо картину.

ЗЫ. Очередной раз убеждаюсь, что человек не должен заниматься тем, что может машина. Искать закономерности и прочее. А вот своим делом, разметкой исходных данных, тем что машина не может, должен заниматься внимательно. И тогда машина покажет своё.

Статистика: Добавлено Lecron — 11 апр 2021 13:04

Тематические словари • Словарь Орфоэпический в формате замен dic (для Балаболки и Демагога)

2021-04-10T17:45:11+03:00

Нашел системную ошибку в шаблонизации. Не в алгоритме, а на уровне постановки задачи.
Допустим найден шаблон рАж-ни, но соседнее слово может оказаться враж-нИ (условно). Слог рАж/враж различается, отчего алгоритм не может увидеть и учесть такого соседа.

Переделал для работы непосредственно с буквами. Пришлось повозится. Например буква "а" встречается в обрабатываемых правилах почти 3 млн раз и для каждого вхождения нужно создать объект контекста, содержащий все возможные комбинации окружающих гласную буквосочетаний, а потом найти непротиворичевые обобщения. Память — в облака, производительность — в ноль.

Дополнительно к списку необрабатываемых правил добавлены содержащие более одного изменения. Т.е. единственным отличием правой части от левой допускается ударная гласная.
Всего обрабатывается 2889910 правил из 2918551 или ~99%. Теоретически это может повлиять на результат, практически — маловероятно. В основном исключены сложносоставные слова и многословные правила, каждое слово из которых, встречается в словаре и по отдельности.

Группировку провел с окном:
2 символа кр(акОзя)бра, найдено шаблонов: 20639, остаток константных правил: 1879595, эффективность 1:50

k2.zip

3 символа к(ракОзяб)ра, найдено шаблонов: 50655, остаток константных правил: 924770, эффективность 1:39

k3.zip

4 символа (кракОзябр)а, найдено шаблонов: 70436, остаток константных правил: 489273, эффективность 1:34

k4.zip

На больший размер окна не хватило оперативки. Уже к4 подсвопливался. Эффективность в целом, в 2-3 раза лучше, чем у ошибочного метода по слогам.

Есть ощущение, что стоит проверить на совпадения с шаблонами большие общераспространеные словари. Если их почистить от "дубликатов", не останется почти ничего.

Статистика: Добавлено Lecron — 10 апр 2021 17:45

Тематические словари • Словарь Орфоэпический в формате замен dic (для Балаболки и Демагога)

2021-04-08T11:32:33+03:00

да, точно, orfoepic_rest.txt

Статистика: Добавлено flegont — 08 апр 2021 11:32

Тематические словари • Словарь Орфоэпический в формате замен dic (для Балаболки и Демагога)

2021-04-08T09:58:22+03:00

Открываем orfoepic_wildcardю.txt в Демагоге. Потом:
"Правка - Текст - Сортировка строк - Обычная"

Только наверное orfoepic_rest.txt.
wildcard сортировать наверное не стоит. Правила расположены по порядку популярности. Чем выше, тем больше слов оно охватывает.

Статистика: Добавлено Lecron — 08 апр 2021 09:58

Тематические словари • Словарь Орфоэпический в формате замен dic (для Балаболки и Демагога)

2021-04-07T19:42:51+03:00

К сожалению в "остатке" ... нарушена сортировка.

Открываем orfoepic_wildcardю.txt в Демагоге. Потом:
"Правка - Текст - Сортировка строк - Обычная"

Статистика: Добавлено flegont — 07 апр 2021 19:42

Тематические словари • Словарь Орфоэпический в формате замен dic (для Балаболки и Демагога)

2021-04-07T19:14:40+03:00

Исходник орфоэпика из этого сообщения.

Из обработки исключены правила из нескольких слов, содержащие дефис, несколько ударений и где левая часть не равна правой (без учета ё). К сожалению в "остатке", файле словаря содержащим необрабатываемые правила и правила для которых не найдены обобщающие закономерности, нарушена сортировка.

Всего обработано 16341 разных ударных слогов. Создано 140500 шаблонных правил, которые заменили 2221000 константных (1:16). Как оказалось, компьютеру было где поработать. Потрачено 23 минуты одного ядра i5-4440. Людям такая работа точно не подвластна. Это кстати отсылка, к работе того же самого алгоритма для поиска закономерностей омографов.

В архиве файлы с "остатком", шаблонами и лог замен.

orfoepic_wildcard.zip

Статистика: Добавлено Lecron — 07 апр 2021 19:14

Тематические словари • Словарь Орфоэпический в формате замен dic (для Балаболки и Демагога)

2021-04-06T14:24:01+03:00

Столкнулся с проблемами обработки буквы ё в алгоритме шаблонизации.
Заодно нашел ошибки в словаре

боченочник=бочЁночник
боченочника=бочёнОчника
боченочникам=бочёнОчникам
боченочниками=бочёнОчниками
боченочниках=бочёнОчниках
боченочнике=бочёнОчнике
боченочники=бочёнОчники
боченочников=бочёнОчников
боченочником=бочёнОчником
боченочнику=бочёнОчнику

"вертолетостроителе" со словоформами — ад и израиль.

вспоешь=вспОёшь

выбьетесь=вЫбьётесь
выбьется=вЫбьётся
выбьешься=вЫбьёшься

Дальше не стал искать. Кому интересно, поиск по букве "ё" с учетом регистра.

Статистика: Добавлено Lecron — 06 апр 2021 14:24

Тематические словари • Словарь Орфоэпический в формате замен dic (для Балаболки и Демагога)

2021-04-04T16:52:23+03:00

Есть ли смысл заменять 2 точных правила на 1 шаблон (экономия 1 строки в словаре)?

если только ради уменьшения размера словаря, то смысла особого нет

Статистика: Добавлено tonio_k — 04 апр 2021 16:52

Тематические словари • Словарь Орфоэпический в формате замен dic (для Балаболки и Демагога)

2021-04-04T15:42:47+03:00

это на ваше усмотрение. Только опытным путём можно оценить достаточность шаблона.

Вы кажется не поняли. Ищутся ВСЕ непротиворечивые шаблоны. Даже если такому шаблону соответствует всего одно правило. Остальное просто фильтр по результату. Но заменять "бвгаде=бвгАде" -> "бвга*=бвгА" просто нелепо. Экономии нет. Есть ли смысл заменять 2 точных правила на 1 шаблон (экономия 1 строки в словаре)?

Статистика: Добавлено Lecron — 04 апр 2021 15:42

Тематические словари • Словарь Орфоэпический в формате замен dic (для Балаболки и Демагога)

2021-04-04T14:42:55+03:00

Идея интересная для меня хотя бы для предварительной расстановки ударений в словах, которые из-за "извращений" в стиле: "нашего любимого краснобАйчика обгибАйковича". Ведь такие извращения ни в каком словаре не предусмотреть/не прописать.
В моем случае ваш словарь со * будет применён первым для предварительной расстановки ударений затем уже обычный словарь для корректировки вероятных ложных срабатываний.

какое количество шаблонизируемых правил стоит принять за норму — больше 1, больше 2 или еще более грубый фильтр?

это на ваше усмотрение. Только опытным путём можно оценить достаточность шаблона. А если после вашего словаря ещё будет применён основной словарь то оценку ещё труднее будет дать. Только если применять словари отдельно к корпусу, выявлять разницу и оценивать расходения

Статистика: Добавлено tonio_k — 04 апр 2021 14:42

Тематические словари • Словарь Орфоэпический в формате замен dic (для Балаболки и Демагога)

2021-04-04T13:59:54+03:00

Возясь с новым движком озвучки, где для каждого слова надо ставить ударение, вспомнил про недавнюю идею разбить слова на слоги и найти закономерности ударений.
Для слога "бай" получилась такая схема:

► Показать

Полный список, с правилами которые шаблоны "зацепили":

text.txt

Позволит сократить словарь на 583-48=535 правил, только для одного слога. Не самого редкого, но и не самого популярного. Пока учитывал только шаблоны, которые "цепляют" более 2 правил. Если добавить двух-правиловые, эффект может еще возрасти.

Ошибок нет. Если есть хоть одно слово противоречащее шаблону, шаблон не формируется. Пока не дорабатывал расположение звездочек. Некоторые правила могут быть "стебай*.

Есть ли интерес сообщества к такому шаблонизированному орфоэпику? Если есть, какое количество шаблонизируемых правил стоит принять за норму — больше 1, больше 2 или еще более грубый фильтр?

Статистика: Добавлено Lecron — 04 апр 2021 13:59

Тематические словари • Словарь Орфоэпический в формате замен dic (для Балаболки и Демагога)

2021-03-15T11:27:28+03:00

распродадут=распродАдут

► Показать

???
садко=сАдко
Википедия:

► Показать

сайт «Где-ударение.рф»

► Показать

https://udarenieru.ru/

► Показать

Статистика: Добавлено wasyaka — 15 мар 2021 11:27

Тематические словари • Словарь Орфоэпический в формате замен dic (для Балаболки и Демагога)

2021-02-27T22:47:04+03:00

► Показать

Статистика: Добавлено wasyaka — 27 фев 2021 22:47