MyTTS

Омонимия • Омографы

2021-03-30T19:12:08+03:00

Ужос! Не зря я кажется написал: в словари, наверное бояться лезть даже их составители, настолько там невообразимая и неконтролируемая сложность.

НЕ так и страшно..
Выбрано из 9000 книг (всё что было на винте).
Использованы и уже имеющие правила...

бЕрег-берёг.rar

Если разделить на 100 пользователей -делов на пару недель не напрягаясь -
В одиночку - пару лет...
Остатком не попавшем в список можно пренебречь...
И в процессе использования найдутся и ошибки...

Статистика: Добавлено wasyaka — 30 мар 2021 19:12

Омонимия • Омографы

2021-03-22T20:54:00+03:00

40 тысяч слов уже в какой-то мере заложены в словарях в связке с омографом, а остальные более пяти лимонов

Ужос! Не зря я кажется написал: в словари, наверное бояться лезть даже их составители, настолько там невообразимая и неконтролируемая сложность.

Статистика: Добавлено Lecron — 22 мар 2021 20:54

Омонимия • Омографы

2021-03-22T19:21:48+03:00

Предыдущий ваш текст, не понял от слова совсем.

По простому: наиболее употребительные около 40 тысяч слов уже в какой-то мере заложены в словарях в связке с омографом, а остальные более пяти лимонов - это редкие, вплоть до разового употребления.

Статистика: Добавлено wasyaka — 22 мар 2021 19:21

Омонимия • Омографы

2021-03-22T17:02:48+03:00

tonio_k, wasyaka, Еще несколько замечаний по теме в общем.
Каков бы ни бы алгоритм...
а) ...ВСЕ алгоритмы будут не похожи на словари. Поэтому придется осваивать и пилить разработчиков, что бы их удобно встроили в программу, а не прилепили сбоку как что-то вторичное. Без этого не взлетит ни один. Вопрос только, насколько трудоемок метод для пользователя.
б) ...ВСЕ алгоритмы не будут точными, то есть будут ошибаться. Вопрос только насколько.
в) ...из словарей уже выжали все возможное, а ВСЕ алгоритмы освоены на уровне пощупать энтузиастами. Проявите фантазию и представьте, что для них уже тоже накоплена база.

Возьмем Яровского и "замок". 30% омографов будет разрешено с точностью 97.6%, с возможностью повысить до 99.2%. А остальные, просто скажет "не знаю". Все что для алгоритма надо, в форме отметить галочкой предложения со словом "зАмок"

CODE:

[ ] автоматический замок[ ] аккуратно вырезал замок[ ] амбарный замок[x] архитектурными вывертами древний замок[x] атаковать ваш замок[x] без каких-либо препятствий вошли в замок

Просто? Элементарно. Однако что делать с остальными? Вопрос на 100000000. Предположу, кто-то скажет "а зачем вообще?", все это решается словарями. Но Яровски как раз и формирует тривиальные правила, из которых состоят эти словари. А то с чем не справился он, скорее всего не справятся и словари. При этом в словари, наверное бояться лезть даже их составители, настолько там невообразимая и неконтролируемая сложность.

Кстати, решил заодно вытянуть все правила. В порядке убывания веса/значимости. 0/1 — метка зАмок/замОк

rules.txt.zip

Есть ли в словарях что-то, что Яровски не увидел? И насколько оно значимо? В моем предыдущем архиве корпус из 2000+ упоминаний омографа.

Статистика: Добавлено Lecron — 22 мар 2021 17:02

Омонимия • Омографы

2021-03-22T11:43:22+03:00

А когда старый ржавый замок?

Предыдущий ваш текст, не понял от слова совсем. А со старым ржавым все просто. Порядок применения правил. Для сочетания будет создано два правила left:ржавый и k_nearest: старый, где left правила имеют больший вес. Дальше зависит от статистики. Если старый * зАмок будет встречаться гораздо чаще, чем ржавый замОк, может и перевесит.
Плюс я не утверждаю, что правила Яровски со 100% вероятность транслируются в классические правила. Просто очень похоже что это так. Достаточно посмотреть на файл log_auto.txt из архива. Там сортировка по правилам и сгрупированы фразы которое оно "зацепило".

по мне, так лучше пачку книг разных жанров накидать в папку и найти по ним корпуса слов разом до их прослушки, чем копить корпус слов по мере подготовки книги к прослушке.

Вначале, для запуска работы алгоритма, так действительно лучше. Но как писал, его качество зависит от размера корпуса. То есть нужно его непрерывно пополнять. И это должно быть прозрачно. Как сбор данных, так и их использование. Настолько же прозрачно, как работа с классическими словарями.

Отметил галочкой словарь, внес в него запись в некотором формате "замок=з^амок,зам^ок" (записей будет десятки или даже сотни) и забыл. Через некоторое время, после достижения определенного размера корпуса для какого-то правила, программа предложила разметить некоторое количество фраз. Сделал и опять забыл. Корпус сам пополняется, алгоритм Яровски сам дообучается, правила сами перестраиваются и применяются к тексту.
Только в таком виде оно даст выхлоп.

Может сложится впечатление, что я кого-то уговариваю. Оно ошибочно. Просто делюсь впечатлениями от алгоритма который мне понравился. Представляю его лицом. Примете его на вооружение, уговорив разработчиков сделать удобно, или продолжите сожалеть что в теме неоднозначностей ничего не происходит, продолжив опираться только на классические словари, выбор ваш.

Статистика: Добавлено Lecron — 22 мар 2021 11:43

Омонимия • Омографы

2021-03-22T09:38:15+03:00

В файле сохраняются найденные предложения с искомым словом.

А дополнить регистрозависимость?
Чтоб обработанные фразы c омографом не "мешались"?

Статистика: Добавлено wasyaka — 22 мар 2021 09:38

Омонимия • Омографы

2021-03-21T23:40:39+03:00

Программа, прозрачно для пользователя, при любой озвучке/обработке текста, должна находить вхождения в него всех указанных в словаре омографов и распихивать их по корпусам.

месяц назад ещё сделал такой скрипт

4) СБОР КОРПУСОВ СЛОВ ПО СПИСКУ.lua.zip

В окне Демагога вставляем список слов (омографов) каждое слово с новой строки и запускаем скрипт. Указываем папку с книгами и папку куда сохранить найденные корпуса слов. Корпуса слов создаются в виде тестового файла (имя файла - искомое слово омограф. В файле сохраняются найденные предложения с искомым словом. "Вытащить" только фразы с искомым словом без знаков препинания можно одним регулярным выражением. Либо дописать или сделать отдельный скрипт, который будет это делать автоматически. Получение и хранение корпуса в виде предложениий удобно для понимания смысла контекста фраз без знаков препинания.
Предложенный скрипт можно адаптировать по своему вкусу так, что бы корпуса "дописывались" к ранее созданным файлам с корпусами, а внутри удалялись дубликаты. Можно этот скрипт вставить и в скрипт, который обрабатывает книги словарями что бы "в фоне" дописывал в файлы с корпусами слов, но по мне, так лучше пачку книг разных жанров накидать в папку и найти по ним корпуса слов разом до их прослушки, чем копить корпус слов по мере подготовки книги к прослушке.

Статистика: Добавлено tonio_k — 21 мар 2021 23:40

Омонимия • Омографы

2021-03-21T22:51:17+03:00

Не то. Нужна простота! Поэтому упомянул hmg словарь.

Из около 200 книг выбрал, по ходу, все омо подлежащие замене (зАмок -по умолчанию, выбирались соответственно где замОк) и т.д.
Всё в формат dic(ключ-Слово + омограф или наоборот)...
Сравнил - словарь до (начальный) и словарь с дополнением из 200 книг...
Кол-во необракботанных омографов одинаково...
При добавление этих ключевых слов в рэкс - с разбежкой в два - три слова (от омографа, буквально после одной книги 4 сработки...

для за`мок свойственно слово старый где-то спереди, а для замо`к слово щелкнул с любой стороны.

А когда старый ржавый замок?
Вывод - или смирится или 10-15 минут врукопашную (доточка рэкс - слишком трудо-время ёмкое занятие с минимальным выхлопом на выходе).
Все всё равно не победим...

Статистика: Добавлено wasyaka — 21 мар 2021 22:51

Омонимия • Омографы

2021-03-21T22:17:04+03:00

WSD-проблема относится к числу еще не решенных.

Никто не утверждает о ее решенности. Специально указал процент типовых фраз, т.е. фраз попадающих под алгоритм, и количество ошибок. Речь скорее о существенном сдвиге, а не окончательном решении. Плюс очень невысокой цене этого сдвига. Как для программиста, так и для пользователя.
Можно долго ждать пока нам сделают голос, меньше нуждающийся в затыкивании словарями и тем более словарями содержащими банальные правила, а можно минимальными усилиями попробовать сделать хорошо самим.

Второй скрипт, привязанный к горячей клавише - просто бы читал выделенное слово в тексте, и если это омограф, то добавлял бы фразу с этим словом в корпус.

Не то. Нужна простота! Поэтому упомянул hmg словарь.
Программа, прозрачно для пользователя, при любой озвучке/обработке текста, должна находить вхождения в него всех указанных в словаре омографов и распихивать их по корпусам. Точнее по wal-файлам (write-ahead log). А по горячей клавише или еще какому событию, для всех корпусов сразу, проводить дедупликацию и сливать с основным корпусом. Тогда и вести лог, из какой это книги, не будет надобности.

ЗЫ. Пока писал ответ, пришла еще одна мысль.

► Показать

Статистика: Добавлено Lecron — 21 мар 2021 22:17

Омонимия • Омографы

2021-03-21T18:54:49+03:00

скрипты Демагога

Составление корпуса фраз с омографами - да, скриптами это решается.
К примеру, один скрипт может перелопатить указанные файлы книг, и сверяясь с заданным списком омографов, собрать до кучи все фразы, содержащие эти омографы. Попутно записывая в лог: какие книги уже обработаны. Чтобы можно было продолжать работу, с того места, где она была прервана пользователем.
Второй скрипт, привязанный к горячей клавише - просто бы читал выделенное слово в тексте, и если это омограф, то добавлял бы фразу с этим словом в корпус. Предварительно проверяя, что ее там еще нет.

Насчет самого алгоритма WSD (хоть Яровского, хоть еще какого) - тут я не владею вопросом в должной степени, знаю лишь, что WSD-проблема относится к числу еще не решенных. Хотя полвека назад был большой энтузиазм и надежды на скорое алгоритмически полноценное решение.

Статистика: Добавлено flegont — 21 мар 2021 18:54

Омонимия • Омографы

2021-03-21T14:09:11+03:00

Продолжаю делиться впечатлениями по алгоритму Яровского.
tl;dr Отличный инструмент для снятия омонимии. Только его надо правильно приготовить.

Код, на примере которого знакомился с алгоритмом, при близком рассмотрении больше похож на лабораторную работу. Неэффективен ни по архитектуре, ни по оптимизации. После причесывания, понять алгоритм оказалось еще проще.

Назначение алгоритма:
Вначале я ошибся, посчитав его полноценным классификатором, способным классифицировать 100% фраз. На самом деле, алгоритм классифицирует 30-40% фраз, но с количеством ошибок стремящихся к 0. Для чего надо вручную разметить очень небольшое количество образцов.

Исследование алгоритма:
Провел 3 пробы. В каждой из которых, последовательно размечал по 10 случайно выбранных из корпуса фраз, после чего проводил обучение и смотрел, сколько фраз доразметилось автоматически.

CODE:

[631, 0, 0, 15, 0, 0, 8, 6, 0, 1, 1, 0, 38, 6, 5] Всего: 711[0, 0, 0, 0, 642, 1, 19, 9, 1, 44, 11, 6, 1, 7, 12] Всего: 753[0, 711, 4, 0, 8, 0, 3, 2, 21, 5, 0, 4, 3, 0, 6] Всего: 767

Основной выхлоп дала разметка соответственно 10, 50, 20 фраз. Что дает результативность от 1:13 до 1:63 (количество автоматических на 1 ручную). Если же во главу угла ставить не минимизацию ручного труда, а качество классификации в целом, оптимально размечать 10-20% от размера корпуса. Который в моем случае составлял чуть больше 2000 записей.

Примечание: Насколько понял работу алгоритма, его эффективность зависит не столько от количества размеченных, сколько от размера самого корпуса, количества фраз доступных алгоритму для оценки.

Оценка ошибок: Проверив вручную результат работы первой пробы, нашел 17 ошибок классификации или 2.4% (помечены -1 в файле log_auto.txt). Отмечу, что многие из них, следствие работы стемминга (удаления окончаний и суффиксов). Заменив стемминг на нормализацию (заперта, запер, заперев -> запереть) из pymorphy, количество ошибок сократилось до 5 (0.8%) без существенного влияния на количество размеченных. Но так как это внешняя зависимость затрудняющая исследование алгоритма, за основу взят именно стемминг.

Применение алгоритма:
Тут скорее мои фантазии и наброски идей. В общем же, это совсем иной, не словарный способ предобработки текста, который в идеале требует отдельного встраивания в процесс и интерфейса работы со "словарем" (где "словарем" выступает корпус фраз). Тема требующая отдельного обсуждения и выходящая за рамки данной заметки. На мой взгляд, это должно быть расширением обработки словарем формата hmg.

Но какое бы ни было применение, для работы нужен корпус фраз. Он может быть сформирован пользователем самостоятельно, на основе свой библиотеки. Но оптимально, чтобы его формировала сама программа. Встретился омограф, извлекли фразу с ним и сохранили в соответствующий файл. Думаю скрипты Демагога от ув. flegont с этим справятся легко. В идеале, это совместно формируемый корпус, куда сливаются результаты работы программы у всех пользователей. В отличии от уникальных и личных словарей, здесь никакой уникальности нет, главное размер. (см. примечание из "Исследование алгоритма")

а) Формирование правил для словарей. Трудность представляет правило k_nearest анализирующее слова на отдалении от омографа и предварительное удаление стоп-слов. Если это не получится автоматически напрямую, составителям словарей такая подсказка общих признаков, окажет существенное подспорье.

б) проверка правил в словарях. Многие правила уже добавлены в них, но также представляю какой в них бардак. Так как точность алгоритма высока, есть резон классифицировать фразу с омографом алгоритмом и сравнивать с результатом его обработки словарями, в случае расхождения уведомлять пользователя.

в) непосредственная классификация. Перед применением классических словарей.

yarowsky_wsd.zip

Код стеммера и классификатора, исходный корпус, результат 3 проб.

Статистика: Добавлено Lecron — 21 мар 2021 14:09

Омонимия • Омографы

2021-03-15T18:33:37+03:00

В очередной раз убеждаюсь, что чтобы задать правильный вопрос, нужно знать половину ответа.

Ища инфу про омографы находил довольно мало. Но как столкнулся с темой Разрешение лексической многозначности, к каковой принадлежат омографы, оказалось работы вовсю идут и есть любопытные результаты. Например алгоритм Яровского.

использует в качестве базового классификатора правила принятия решений и на каждом шаге выполняет следующие действия:
1.составление правил принятия решений на основе небольшого обучающего множества;
2.классификация остальных документов в корпусе;
3.построение нового обучающего множества, определяя экземпляры, размеченные свероятностью, большей определенного порога;
4.обучение классификатора на новом обучающем множестве.
5. повторить с пункта 3

Если по-русски, никаких нейросетей. Алгоритм абсолютно предсказуем. На основе списка фраз с омографом и небольшой подсказки что есть что, сам определяет какие слова окружающие омограф и в каком виде (правила принятия решений) могут характеризовать то или иное применение. Если разобраться, эти правила даже можно конвертировать в dic формат. Причем при определении правил, смотрит не только на размеченные подсказки, но и "умнеет" с каждым шагом.
Например он узнал, что для за`мок свойственно слово старый где-то спереди, а для замо`к слово щелкнул с любой стороны. Найдя похожие случаи, он увидит слово электронный и заметит его использование только для замо`к — вуяля, создано новое правило. Ищем следующие... И следующие...

В моем лабораторном примере, на корпусе из 2000 фраз, я ему "подсказал" 150, в которых алгоритм нашел 280 правил, которые самостоятельно расширил до 980, корректно распознав еще 550 ударений, всего с 2 ошибками.

Алгоритм достаточно прост, не требует библиотек и может быть реализован почти любым программистом. Сейчас ковыряю GitHub - juhokallio/YarowskyWSD: Word-sense disambiguation project for natural language processing course. Как рабочая программа не годится, но для понимания работы алгоритма и отсутствия необходимости изобретать велосипед — самое то. Всего 400 строк кода.

Статистика: Добавлено Lecron — 15 мар 2021 18:33

Омонимия • Омографы

2020-11-06T22:52:36+03:00

UPD и вообще, если результат работы нейросети предпологает последующее прослушивание и корректировку, то чем она координально отличается от составления словарей по старинке?

Хороший вопрос. Для ответа на него собрал полный датасет по омографам, которые считаю важными.
Обработано книг: 923 штук / 359 Мб
Омографов: 943
Вхождений: 1723179

stat.csv

Грамматически неразрешимые омографы (109 штук) дают 142151 или 8%
10 самых распространенных омографов дают 725122 вхождения или 42%.
18 распространненных — 50%.
Из них, 14 грамматически разрешимые, которые дают 792965 или 46%

Вначале взял для каждого из них 0.063% записей, чтобы в сумме получить 500 и проверил их на правильность расстановки ударений, исходя из их грамматических признаков. Ударения то правильные и правило когда надо сработает правильно, но вероятность для у`же, по`том, гла`за, о`дин, нача`л, то`му, мало`, ноги` очень мала, а на статистику влияет.

check.zip

Если учесть только "все", "чем", "руки", "стороны", "слова", "дома", получаем 263 теста, из которых 7 ошибочных или всего 2.7%. По полной выборке — 1.8% (они дали еще 2 ошибки). Но реальная точность еще лучше. Грамматика анализируется по всему предложению, со знаками препинания, а у нас выдернутые куски, иногда очень короткие для точного анализа.

Достаточно для того, чтобы исключить "последующее прослушивание и корректировку"?

лично очень сомневаюсь (что проблема обографов решена). С трудом верится в безграничность возможностей нейросетей vs могучего русского языка

И это только грамматика. Если к ним добавить 85% точность для входящих в первую 20-ку четырех неразрешимых омографов (8%) — минут, самом, стоит, самого, — головная боль снята.

Статистика: Добавлено Lecron — 06 ноя 2020 22:52

Омонимия • Омографы

2020-11-06T18:40:08+03:00

вот именно! Если этим вопросом не займётся какой нибудь институт или объединение программистов, то задача для одного не подёмная.

Ничуть. Достаточно среднеразвитого сообщества.
Из всего многообразия типовых словарей омографов, наибольшее распространение имеют всего 1000 слов. Ну и еще несколько сотен, когда омографом является имя собственное — То`лсто`го, О`ди`н. Из этой тысячи, 900 разрешаются по грамматическим признакам (ре`ки|сущ мн| : реки`|гл|сущ ед|), которые современные нейросети определяют с 95+ успехом уже сейчас. Осталось разметить только 100 слов, для успешной обработки которых хватит корпуса на 1000-2000 фраз на омограф. И даже 200-300 уже дадут неплохой результат.
Почему так уверенно говорю. Я собрал датасет для этой сотни из 374Мб txt-файлов. Получил вырезку на 9Мб. Из которых 50% вхождений приходится всего на 4 слова — минут, самом, самого, стоит. А 50% слов занимают всего 250Кб. Вот такое оно веселое распределение.

а проводилась ли сравнительная статистика применения словарей? Что бы сравнить её с результатами работы нейросети.

Самому интересно. Но я в ассортименте словарей не силен. Попробуйте проверить сами.
Корпус для теста я предоставил. Удаляете символ ударения, применяете словари и сравниваете построчно с оригиналом (скриптом). Если строка совпала — правильно, нет — неверно.
Предположу убедительную победу сетей.

В этом замке проживал граф Толстой.
Толстой граф проживал в замке этом.

Как раз это для сетей не проблема. Они оперируют не порядком слов, а окружением и дистанцией. Причем даже не по словам, а по n-граммам. Грубо: проживал — прож, рожи, оживал, живал. Ей все равно: проживал граф этом замке, проживал граф замке, проживал этом граф замке, проживал этом замке, проживал замке.
В всех случая результат правильный — за`мок

Статистика: Добавлено Lecron — 06 ноя 2020 18:40

Омонимия • Омографы

2020-11-06T17:52:21+03:00

Проблема омографов вполне решаема

лично очень сомневаюсь. С трудом верится в безграничность возможностей нейросетей vs могучего русского языка.

Но это большая муторная работа.

вот именно! Если этим вопросом не займётся какой нибудь институт или объединение программистов, то задача для одного не подёмная.

А когда посмотрел на почти 3000 фраз, во-первых стало страшно, а во-вторых, подумал почему бы вместо захардкоженного словаря, не использовать нейросети.

а проводилась ли сравнительная статистика применения словарей? Что бы сравнить её с результатами работы нейросети.
Вот ваша фраза: "Из 552 замо`к и 326 за`мок, угадала 85%", мне интересно, а каким результатом "угадывания" обладают словари имеющиеся в сборках на форуме? Небольшой офтоп под спойлером:

► Показать

это я к тому, что высокий процент угадывания для нейросети надо правильно сравнивать с результатами работы словарей с правилами, и только тут понятно будет на сколько нейросеть , при всех связанных с ней трудозатратах и скорости работы, будет лучше, чем создания правил для словарей?
причём высокий процент угадывания может быть из-за "по русски" составленного предложения. Например:
В этом замке проживал граф Толстой. А как словари или нейросети будут срабатывать в тексте написанном в стиле магистра Йода:
Толстой граф проживал в замке этом.

UPD и вообще, если результат работы нейросети предпологает последующее прослушивание и корректировку, то чем она координально отличается от составления словарей по старинке?

Статистика: Добавлено tonio_k — 06 ноя 2020 17:52