Dicrector — компонент применяющий словари с строке текста. Написан на Python.

[Lecron]

ПРЕДУПРЕЖДЕНИЕ: Это не конечная пользовательская программа, а компонент для написания таких программ. Может использоваться из других Python скриптов, а сам Python может быть вызван из множества других языков. В том числе из Lua.

Название произошло от Dictionary corrector. Первопричиной положившей первый камень в код компонента послужило медленное применение больших словарей из сотен тысяч правил в существующих программах. И даже быстрый режим некоторых программ, накладывая существенные ограничения на словари, тоже не мог похвастаться особой быстротой. Цель достигнута. 900 страниц Войны и мира (1.8Мб) словарем из 270000 правил, обрабатывается всего за 14 секунд на i5-4440 в один поток (пример есть в Demo). Однако пошли пожелания, внешние и собственные — регулярки, макросы, омографы. Что в итоге было собрано в один компонент.

Применяемые словари не группируются и правила в них не сортируются, это ответственность пользователя. Кроме одного исключения, если подряд указаны несколько словарей одного типа. Для такого списка: 1.rex, 2.dic, 3.dic, 4.rex, 5.dic — будут сгруппированы только 2 и 3 словари.
Так как некоторые словари большие и на их загрузку уходит относительно немало времени, есть возможность перезагрузить отдельные словари, если они были изменены в процессе работы компонента. Например при прослушивании новых слов. Достаточно указать целевые словари. Если они входят в некую группу, соседние будут перезагружены автоматически.

Использование компонента простое (есть в Demo).

Код: Выделить всё

from dicrector import Corrector
corrector = Corrector(список_словарей)
result = corrector.execute(line)

Дополнительно есть функции поиска новых слов, согласование спряжений, преобразования римских в арабские и арабских в текст, и некоторые другие. Но это не основная функциональность, описывать не буду, смотрите в коде.

Поддерживаются словари:
Dic: Коррекция текста простыми правилами поиска и замены.

► Показать

Область применения: слово.
Формат правила: поиск=замена.
Пример: $Ринуальд*=Ринуа`льд.

Поиск индексный. Вместо перебора всех правил, отбираются только те, которые имеют шанс быть применены. Поэтому скорость почти не зависит от размера словаря и чем он больше, тем больше выигрыш по сравнению с классическим способом. Вплоть до 100 раз по сравнению с Балаболкой на словарях из сотен тысяч правил.
Для поиска может использоваться маска *, означающая 0 и более количество символов/букв. Маска может использоваться только по краям — *оиск, поис*, *оис*. В середине слова, по*ск, воспринимается как обычный символ/буква. В замене маску указывать не надо. В замене, может указываться как одно слово (обычно), так и несколько. Осторожно. Во втором случае, словосочетание будет восприниматься как отдельное слово до тех пор, пока не произойдет переразбивка текста. Что не позволит применить к результату замены этим правилом, нижележащие правила.

Модификаторы:
$ для поиска, означает чувствительность к регистру.

Dicx: Коррекция текста расширенными правилами поиска и замены. dic(eXtended)

► Показать

Область применения: предложение
Формат правила: ключ: поиск=замена
Пример: пра*ило из * слов*=пра*ило из * слов

Дополнительно к правилам dic , строка поиска может содержать шаблон * , как в середине слова, так и заменять шаблоном целые слова. Фактически формат vcb, за небольшим исключением. В строке поиска, для индексного доступа, должно быть хоть одно слово ключ без шаблона в его середине. Шаблоны по краям словосочетания/фразы поиска, в правой части дублировать не надо, аналогично правилам dic. Однако серединные шаблоны нуждаются в повторении.
Если ключ выделить невозможно, значит нужно использовать rex-формат словаря. Использование предварительной фильтрации правил по ключу, существенно, на порядки, сокращает количество применяемых к тексту правил, а значит и скорость обработки. Правила не чувствительны к регистру.

Rex: Коррекция текста правилами на основе регулярных выражений.

► Показать

Область применения: строка
Формат правил:
regexp_поиска=строка_замены
regexp_поиска=@название_макроса
Пример: (\d)\/(\d)=$1 / $2

Модификаторы:
$ в начале строки поиска (всего правила), аналогично словарям dic, указывает на чувствительность правила к регистру.
@ в начале строки замены (правая часть правила, после знака равно), указывает на использование функции, возвращающей строку замены. Функции замены должны располагаться в python файле, с названием полученным из имени словаря как %dicname%_%ext%.py. В качестве входного параметра, принимают match объект, содеражащий найденный текст и его группы.

Rexw: Коррекция текста правилами на основе регулярных выражений. rex(Word)

► Показать

Область применения: слово
Формат правила: regexp_поиска=@функция_замены
Пример: ^[IVXLCDMХСМ]{2,}$=@roman2digit

Основное назначение словаря, применение функций к отдельным словам. Чтобы при использовании словаря в середине цепочки обработки, между словарями с областью применения "слово", не приходилось собирать всю строку из слов, с последующим обратным разбиением. Плюс, данный тип словаря реализует функцию has_rule, позволяющую проверить, есть ли слово в словаре, что полезно при поиске новых имен, куда также попадают аббревиатуры.
В остальном, повторяет словарь rex, за исключением некоторого упрощения. В функцию передается все слово (строка), а не найденные фрагменты. При использовании в начале и конце цепочки обработки, рациональнее использовать обычный rex-словарь.

Omo: Коррекция текста правилами на основе морфологии и синтаксиса. Используется для снятия омографии.

► Показать

Область применения: слово
Формат правила: ключ=по_умолчанию : вариант1|условия1| : вариант2|условия2| : вариантN|условияN|
Формат условия: |группа_признаков1|группа_признаков2|группа_признаковN|
Формат группы: признак1 признак2 признакN
Примеры:
вертела=верте`ла : ве`ртела|сущ ед| : верте`ла|гл| : вертела`|сущ мн|
сложен=сло`жен : сло`жен|прч|прл @$сложный| : сложён|прл @$сложённый|

Варианты проверяются в порядке указания, до первого совпадения условия. Если ни одно условие не удовлетворено, используется вариант по_умолчанию. Группы проверяются в порядке указания, до первого совпадения требований. Условие считается выполненным, если выполняются все признаки группы.

Модификаторы:
$ - сравнение со словом ($в, $на, $крыть). При отсутствии модификатора, проверяются грамматические признаки (гл, сущ, прош, одуш, ед и т.д), полный список смотри в файле grammar_desc.txt.
@ — проверка нормальной формы. Для слова (дымки -> @$дымка или @$дымок) или грамматики (@гл @перех). Последнее, к сожалению, несмотря на реализацию в коде, смысла не имеет, так как не определяется используемой библиотекой грамматики.
> — подчиненное (дочернее) к обрабатываемому слово в синтаксическом дереве предложения.
< — родительское к обрабатываемому слово в синтаксическом дереве предложения.

Omn: Коррекция текста правилами на основе нейросетей. Используется для снятия омографии, когда невозможно разрешить на основе правил грамматики.

► Показать

Область применения: предложение. (Фактически ищется слово, но для классификации, нужно получить окружающий омограф контекста)
Формат правила: ключ=название_корпуса|вариант1|вариант2|вариантN|
Примеры (порядок вариантов должен совпадать с порядком указанным в корпусе):
замок=замок|за`мок|замо`к|
замка=замок|за`мка|замка`|

Файлы корпуса должны иметь расширение ".corpus" и находится в подпапке "corpus", расположенной в папке словаря. Там же будет находится созданная модель.
Сколь-нибудь вменяемый результат получается при размере корпуса уже в 100 записей. Но чем больше данных, тем точнее предсказание. Оптимально использовать одна словоформа — один корпус. Однако для разных словоформ, например хлопок, хлопком, хлопка, окружение совпадает в достаточной мере, чтобы:
а) объединить корпуса, когда записей в одном недостаточно для обучения сети;
б) использовать корпус от одной словоформы, для распознавания другой, если нет желания проводить разметку, а точность удовлетворяет.
Тогда для омографа указывается "чужой" корпус (второй из примеров правил словаря).

Первая строка корпуса должна содержать варианты используемых ударений, в формате "за`мок|замо`к" или если корпус объединенный, все словоформы, разделенные пробелом хло`пок хло`пком хло`пка|хлопо`к хлопка` хлопко`м. Порядок словоформ в группе, значения не имеет:

При отсутствии сохраненной модели, на ее выбор и создание, в зависимости от размера корпуса уходит от нескольких десятков секунд до нескольких минут. При следующем запуске модель будет загружена сразу. Если вы изменили корпус, для пересоздания модели удалите ее файл.

Как вы заметили, для словарей указывается область применения. Суть в том, что программа разбивает строку на предложения, а предложения на слова. Процедура не быстрая. Если после замены слова, понадобился текст предложения, оно будет собрано из слов. Соответственно строка собрана из предложений. Если после сборки вам понадобится опять перейти на более низкую область видимости, текст вновь будет разбит на составляющие. И вновь собран, при переходе на более высокую. Поэтому словари стоит располагать в порядке убывания и последующего увеличения области видимости — строка, предложение, слово, предложение, строка.

Установка компонента: "pip install . " находясь в папке пакета или "pip install path/to/package" из любого другого места.

Планы на будущее: выкладывать на GitHub или PyPi не планирую. К проекту охладел. Но если поступит идея несущая существенное улучшение качества или скорости обработки, с удовольствием рассмотрю. Также постараюсь исправлять ошибки. Мелкий фич-реквест не предлагать.

Лицензия: Делайте что хотите. Но надеюсь на указание авторства.

dicrector.zip

(70.31 КБ) 88 скачиваний

dicrector_with_demo.7z

(71.93 МБ) 114 скачиваний

[Lecron]

Небольшие исправления и рефакторинг.

dicrector.zip

(84.6 КБ) 54 скачивания

[юрабойко]

Никто не может помочь как в тексте автоматически расставить коммы после каждого слова или через одно, кроме коротких - не более 3 или 5 букв? Я мог бы это сделать вручную, но говорилка и ее аналоги мне нужны чтобы глаза отдохнули.

Если я буду редактирую текст вручную, это займет в лучшем случае в несколько раз меньше времени чем если я его читаю, а это меня не устраивает.

Ни в одной обычной програме для редакта текстов такой опции, ставить комму после каждого слова отдельно с помощью автозамены отдельно - тоже куча работы, в текстре обчно как минимум около тысчи разных слов наберется.

[Lecron]

Никто не может помочь как в тексте автоматически расставить коммы после каждого слова или через одно, кроме коротких - не более 3 или 5 букв?

Если комма, это запятая, то во-первых так и пишите, а во-вторых любая из программ на форуме, поддерживающая rex словари это умеет.
\b\w{5,}(?=\s)=$0,
Шаблон начинающийся с начала слова, содержащий не менее 5 букв и не заканчивающийся пробелом (чтобы не зацепить знаки препинания), заменить на шаблон+запятая. Для "через одно" — \b\w+\s\w{5,}. Может какие-то нюансы не учел, но принцип такой, регулярки для этого и созданы. Если словарь не распознается из-за второго знака равно, заменить этот блок на негативный (?![\.\!\?,:])

[tonio_k]

Если словарь не распознается из-за второго знака равно, заменить этот блок на негативный (?![\.\!\?,:])

в качестве разделителя левой части правила от правой части правила вместо знака "=" (равно) можно использовать "::" (два знака двоеточия), тогда можно смело ставить знаки "равно" где угодно.

[юрабойко]

Что до написания запятой - русский язык мне не родной, из-за чего привык к слове комма, а запятая вспоминается мной крайне редко.Пример как это сделать лишним тоже не будет (можно ссылками) - в последний раз к редактировать словари я искал еще в конце осени 2020 года, а на практике не делал этого вообще нигде кроме как в блокноте для говорилки.

[юрабойко]

Вроде нашел - можно пробовать создавать нужный скрипт в Демагоге и потом тестировать что получится, а потом, чтобы не мешал шум от системного блока из-за кулера ни видеокарте - копировать записанный файл на флешку и слушать что вышло уже с нее.
Нашел идею и почти сразу вспомнил что без примера создатель скриптов из меня - ноль.