Demagog TTS

[flegont]

Подумаю над этим.

[tonio_k]

Поиск замена в тексте.
В шаблон плюсом не добавляется замена
^\w+ \| =
Только если в "на что менять" проставить пробел - только тогда в шаблон добавляется
^\w+ \| =пробел

[flegont]

Удалить часть строки с начала и до символа | включительно.
(символ | в строке отделен от остального текста с обеих сторон пробелами)

Код: Выделить всё

^\w+\s+\|\s+=

[flegont]

Версия 368. Изменения в опции "Сервис - Статистика - Сравнение Файлов - Точка расхождения...":

Переименована в "Расхождение...". Теперь находятся сразу все позиции расхождений и выдаются их номера. Click на номере позиции показывает расхождение обоих файлов в контексте.
Процесс поиска расхождений можно прервать клавишей Break.

Замечание. Оба текста "нормализуются" перед сравнением, путем удаления лишних пробелов и табуляций. Также удаляются пустые строки. Невидимые "символы абзацев" заменяются на ¶ для визуального восприятия.
Показанный контекст или его фрагменты можно копировать в окно "Найти / Заменить Ctrl+F" для поиска / исправления в текстах-оригиналах.
Скриншот

[tonio_k]

Версия 368. Изменения в опции "Сервис - Статистика - Сравнение Файлов - Точка расхождения...":

А можно сделать так, что бы окно сравнения не было "всегда поверх всех окон" ?

[flegont]

"Поверх всех окон" или нет - вопрос дискуссионный.
Но, я такие опции, как "Поиск/Замена" и "Транскрипция" - по сути, связанные с редактированием текстов, предпочитаю держать поверх, особенно при длительной с ними работе. Чтобы не гадать, куда вдруг исчезло окошко?
"Расхождение" - из той же категрии. Не хочется судорожно двигать главное окно, доставая из под него "исчезнушее".
В общем, используя в личных целях свое положение разработчика, сделал, как себе удобнее

[flegont]

Слегка поправил процедуру "нормализации" файлов перед сравнением (не все лишние пробелы удалялись) и перезалил дистрибутив

[flegont]

Если в dic-словаре много правил со звездочками...
Представим себе словарь примерно такой структуры:

Код: Выделить всё

*, а баски=, а бАски
*, а глаза,=, а глазА,
*, а горы на=, а гОры на
...
*, я таю.=, я тАю.
*, я узнаю тебя=, я узнаЮ тебя
*, ядра,=, Ядра,

Как видим, все правила начинаются с одного и того же паттерна: *,
Представим себе, что для применения правил выбран в Настройках быстрый алгоритм.
Но, именно по первому паттерну, правила размещаются во временной словарной хеш-таблице.
Т.о. все правила из этого словаря попадут в одну и ту же строку хеш-таблицы. И разместятся там дружной толпою, одно за другим.
И, вместо того, чтобы мгновенно возвращать по хеш-коду нужное правило, работа алгоритма сведется к нудному перебору всех правил в одной строке хеш-таблицы, в поисках подходящего.

Учитывая дополнительные затраты времени на создание хеш-таблицы (и прочие сопутствующие действия), приходим к выводу, что в данном случае "быстрый алгоритм" не будет эффективен.

Рекомендация:
Для dic-словарей, содержащих, в основном, правила со звездочками - предпочтительным будет применение алгоритма прямого перебора.
Для этого снять галочку в "Сервис - Общие настройки... - Чтение - Правила из dic-словарей применяются в порядке убывания длины".

Программа переключится в режим применения dic-правил в том порядке, в каком они расположены в словаре. Если, при этом, всё же нужно применять правила по убыванию длины, то словарь можно физически отсортировать в "Правка - Текст - Сортировка словарей Dic".

[vizaritm]

С версии где то .360 пакетная запись аудио записывает файлы в корневой каталог программы, а не туда же где находятся файлы. Вроде так не должно быть?

[flegont]

Да, есть такой глюк. Поправлю в следующей версии.
Пока можно в настройках аудио поставить галочку "Спрашивать, куда сохранять аудио".Тогда будет запрос на указание папки назначения.

[good_cat]

После применения словарей к тексту признак нового абзаца содержит только 1 пробел (что визуально не очень удобно). Раньше признак абзаца был эквивалентен (по-моему) 4 пробелам. Или это где-то в настройках я пропустил?

[tonio_k]

пробелам

это, вроде, в настройках литературный текст должно быть.

[good_cat]

Нет, там настройка преобразования табуляции в пробелы.
Я имел в виду преобразование группы пробелов в один пробел в начале абзаца.

[tonio_k]

табуляции в пробелы.

я удаляю все пробелы и табуляции в начале всех абзацев.

Код: Выделить всё

^\s*= 
( )+= 
\s{2,}$=

Нажимаю кнопку "литературный текст" и 4 пробела в начале каждого абзаца принудительно появляется.

[good_cat]

я удаляю все пробелы и табуляции в начале всех абзацев.

И что же тогда является признаком абзаца?

[tonio_k]

для меня "под призмой регулярных выражений" абзац это текст с ограничением начало и конец строки:
^ $

либо разделитель:
[\r\n\]

Поэтому перед применением словарей предпочитаю все пробелы вначале каждого абзаца удалить (заменить в начале строки все пробелы и знаки табуляции на 1 пробел):
^\s*=

Соответственно, можно сделать :
^\s*= (тут 4 пробела)

[good_cat]

tonio_k, Ваши доводы мне понятны, но а бы хотел услышать ответ автора программы, если это возможно. Я говорил о визуальном отличии начала абзаца. При наличии только одного пробела приходится некоторое время соображать это абзац или нет. Не забывайте, что программа Демагог это редактор с возможностью озвучивания, и некоторые его функции весьма полезны при использовании программы именно как редактора.

[flegont]

Был разнобой. При применении dic-словарей быстрым методом - делался абзацный отступ в 4 пробела. А при прямом переборе - 1 пробел. Сделал в обоих случаях 1 пробел.

Замечание. На самом деле, начальные отступы в виде пробелов НЕ являются признаками абзацев! И ни в каком другом, профессионально сделанном текстовом редакторе. Признаком абзаца в окне Демагога является символ с кодом 13 - возврат каретки. Иначе: \r
Это не я придумал, это стандартный компонент RichEdit так устроен.

В разное время и в разных текстовых редакторах конец абзаца обозначался парой символов 13, 10 = \r\n - традиционное обозначение
Одним символом 13
Одним символом 10 = \n

При сохранении в Демагоге текста в txt-файл система сама заменяет одинарные 13 на пары 13 10.
В общем, сложновато...
В стандарте юникода есть и другие символы, обозначающие концы абзацев. К счастью, в европейских языках они, насколько мне известно, не применяются.

А что касается абзацных отступов, то они вполне могут быть 0 пробелов. Тем не менее текст будет разделен на абзацы, хотя визуально воспринять это будет непривычно. Кому интересно, могут попробовать в MS Word набрать текст, делая периодические нажатия клавиши Enter. А потом вывести статистику текста. Сколько раз нажимался Enter, столько и будет абзацев.

P.S. Я согласен с тем, что отступ 4 пробела лучше, чем 1. Но, пока будет так, а потом что-нибудь придумаю. Быстрый метод и прямой перебор лучше всего работают, когда абзацных отступов нет вообще - они только мешают.
Тогда, получив измененный текст, нетрудно (автоматически?) сделать замену сразу во всем тексте:

Конец_абзаца ===> Конец_абзаца4пробела

И, дело в шляпе.

[good_cat]

Был разнобой. При применении dic-словарей быстрым методом - делался абзацный отступ в 4 пробела. А при прямом переборе - 1 пробел. Сделал в обоих случаях 1 пробел.

И это печально. Утрачивается возможность использования Демагога как редактора, он всё больше уходит в сторону автоматизации создания аудиофайлов в ущерб функциям редактирования. Именно скорость обработки текстовых файлов и отличает эту программу от аналогичных. Но когда редактор вносит изменения в текст без возможности выбора альтернативы это не очень хорошо.

Не подскажете номер версии программы со старым способом абзацного отступа? У себя, к сожалению, архив предыдущих версий Демагога не хранил.

---

Отправлено спустя 7 минут 58 секунд:

А что касается абзацных отступов, то они вполне могут быть 0 пробелов

Позвольте цитату:

А. о. заставляет читателя на мгновение остановиться, вдуматься в очередную порцию прочитанного, осознать, что дальше автор переходит к новой, другой порции, у которой уже несколько иная задача, иной смысл. Таким образом, цель А. о. — сделать членение текста на абзацы наглядным, графически четким.
...
А. о. — "это знак препинания, обозначающий более длительную паузу, чем точка".

В настоящее время всё чаще встречается западноевропейская/англо-американская традиция абзацного отступа в 0 пробелов. Но в этом случае в тексте абзацы отделяются пустой строкой.

[tonio_k]

Сделал в обоих случаях 1 пробел.

один момент:
При применении словаря rex тоже заменяет пробелы на 1 пробел перед абзацем.

А что если сделать "показать измененный текст", и автоматически применить "литературный текст" в по завершении отработки всех словарей?
*Только включение этой опции должно быть через настройки.

[flegont]

При применении словаря rex тоже заменяет пробелы на 1 пробел перед абзацем

Да, и так было во всех версиях. Один только быстрый метод выбивался из общей тенденции

Я планирую, начиная со следующей версии, применять к "измененному тексту" (как завершающую операцию) одну из процедур опции "Литературный текст" - а именно: вставку абзацных отступов.
Причем именно такой величины, какая объявлена в "Сервис - Общие настройки - Набор".
Так что всё будет OK.

[good_cat]

Mожет сделать применение абзацных отступов к "измененному тексту" опцией в общих настройках? Чтобы в дальнейшем не возникали споры "с какого конца лучше разбивать яйца - с тупого или острого".

[flegont]

с какого конца лучше разбивать яйца

"Все истинно верующие, да разбивают яйца с того конца, с какого удобнее" (с)
Да, можно вставку абзацных отступов в измененный текст сделать опционально.

[vizaritm]

Веникт Ли, у тебя раньше вроде на сайте был народный словарь (вроде с www.mp3book2005.narod.ru сайта) в exc_rus.txt для замены оригинального для Николаевского движка или же он был на старом сайте. Можно этот файлик сейчас где то вытащит и выложить.
Раньше этот файлик менял и меня произношение устраивало, но с чисткой компа потерял. А сейчас ерунда какая то происходит.
Если без dic словаря читать:
Коe-чтo нe давалo мне покоя в течениe довольнo долгoe время, и я надеюсь, чтo ты
Съедает кое-что, буквы е, о, ы
Со словарем DemagogSimple.dic:
To, чтo я хотел бы узнать, этo...
Почему то начинает "то" читает как "ту". И в некоторых других случаев.

---

Отправлено спустя 19 минут 53 секунды:
Ммм, поставил от сюда http://i91650e3.beget.tech/viewtopic.php?t=92, читалку и словари. Дефектов произношений нет.

[flegont]

Припоминаю, что "народный словарь" exc_rus.txt был у меня не напрямую, а через ссылку на сайт программы mp3book2005. Ее автор этот словарь как раз и развивал. Но забросил это дело, и сайт свой и программу. На сайте http://mp3book2005.narod.ru/ открывается только первая страница, и все ссылке с нее уже не работают
Так что только форумчан здесь поспрашивать: успел ли кто-то, когда-то оттуда exc_rus.txt скачать?! Словарь-то был хороший

P.S. А DemagogSimple.dic я скоро вообще уберу со своего сайта, он явно неудовлетворительно работает. Это просто выжимка из (тоже уже умершего) словаря Michelangelo.dic (какого-то анонимного автора). Эдакая не совсем понятная сборная солянка... непонятно, для какой версии Николая...
P.P.S. Зашел на старый форум - там "народного словаря" для Николая нет.

[tonio_k]

успел ли кто-то, когда-то оттуда exc_rus.txt скачать?!

не уверен, что тут последняя его редакция. Что у себя нашел, то и выкладываю

exc_rus.zip

(1.01 МБ) 680 скачиваний

[vizaritm]

Попробовал прочитать с этим файлом, такая же беда, читает коряво. Наверное не то. Есть еще такой файлик побольше вытащенный с рутрекера, но тоже самое. Ладно уж, раз читает нормально из ссылки в моем сообщении выше, будем пользоваться тем что есть.

[flegont]

Вот все словари, входящие в дистрибутив MP3book2005, сборка 2015 г. - финальная, как я понимаю.
Среди них есть ex_rus.txt размером 6488976 байтов.
Словари для MP3book2005 (2015г)

[vizaritm]

О замечательно, спасибо, осталось только добавить файл в ветку по теме.
Кстати похоже оказалось, что не в движке была проблема, какая то пакость скрытая в тексте есть, хз как ее смотреть, ворд в настройках шрифта скрытый текст не выявляет. Ввожу тоже самое ручками, читает нормально.

[flegont]

Demagog показывает в строке состояния код символа, стоящего за текстовым курсором. Например, если за текстовым курсором в строке 10 и позиции 22 идет пробел, то будет показано: 10:22 32 (20)
32 - десятичный код пробела, в скобках - 16-ричный код. Если за обоими кодами стоит * то значит, что символ с этим кодом является (по юникодной классификации) - знаком препинания.
Самый часто встречающийся невидимый символ, это - неразрывный пробел: 160 (A0)
Но, есть и другие, типа неразрывного дефиса и т.п.

[vizaritm]

Посмотрел. Приколисты, переводчики=)) Вот допустим есть два куска, в первом "кое-что" и "не" неправильно читает. Смотрю код допустим буквы "е". В первом код (101)65 во втором 1077(435). Т.е. первая латинская, вторая русская. И так здоровый кусок текста.
Коe-чтo нe давалo
Кое-что не давало

---

Отправлено спустя 29 минут 47 секунд:
ммм, человек выше дал ссылку на сайт http://golosknigi.com/page3.html со свежими словарями на николая под балаболку и демагог, и там есть фикс на слово пространство, в архиве есть ссылка http://golosknigi.com/prog/mtsyc32.rar. Пока не тестил, но по мне это претендует на авации и добавления в шапку.

[flegont]

Да, это фикс для Николая - подменить ему один служебный файлик.
Ну, а в общем виде, чтобы искоренить "пространство" всюду в тексте с помощью Демагога:

Правка - Найти/Заменить - Заменить
Режим поиска: расширенный
Строка для поиска: #160
Строка для замены: набрать 1 пробел
Заменить все

И проблема решена для любого голосового движка

---

Отправлено спустя 8 минут 9 секунд:
P.S. А ошибки оцифровки - из-за которых русские буквы подменяются аналогичными по начертанию латинскими, наверное можно исправлять в тексте с помощью специальных словариков типа .dic или .rex. Подключив такой словарь в Панели словарей, затем выполнить опцию "Сервис - Статистика - Измененный текст".

[tonio_k]

На оф сайте увидел такой скриншот с цветными кнопками меню:

► Показать

demagog3.jpg (184.82 КБ) 48371 просмотр

Это из старой версии? или эти кнопки можно сделать цветными?

[flegont]

Из старой версии. Вместо разноцветных кнопок с претензией на эффекты "выпуклости" я сделал всё в одной гамме, чтоб не так сильно било по глазам. Кстати, "плоские" кнопки, без 3D-эффектов - это вообще сейчас в тренде. Принцип минимализма побеждает

[tonio_k]

Как то я уже поднимал этот вопрос на рассмотрение. Но чем дальше, тем острее чувствуется потребность:
В настройках Демагога
Сервис - Общие настройки - Прочее - Вставлять примечание в текст при открытии файла
При активации галочкой, примечания будут вставляться автоматом при открытии книги.
Но был прецендент, когда Демагог криво составленную книгу (претензии к автору книги) пронумерованный текст книги воспринял за примечание и вырезал этот текст вставив его неизвестно куда.
С тех пор мучаюсь перестраховываюсь - приходится держать в памяти о необходимости не забыть - при открытии каждой книги вручную вызывать функцию "вставлять примечания".
Поэтому большая просьба немного изменить алгоритм при активации галочкой этой функции:

1) ЕСЛИ в открываемой книге присутствует примечание - будет выводиться диалговое окно со списком найденных примечаний. Пользователь выбирает - вставить их в текст или нет.
(Будет выглядеть так, будто при открытии книги вместо пользователя Демагог сам автоматом нажимает кнопки пунктов меню: Формат-Вставить примечания)
2) ЕСЛИ Примечаний нет, то вообще никаких окон - сразу с текстом можно работать. - это для того что бы при повторном открытии отредактированной книги с вставленными ранее примечаниями не выходили лишние сообщения, а если примечаний нет, то тем более.

Как вариант если считаете, что под Вставлять примечание в текст при открытии файла - именно так и должно работать, может добавите активацию такого "альтернативного к существующему алгоритму" способ через вставку к-либо строки в файле настроек $.cfg ?

[flegont]

1) ЕСЛИ в открываемой книге присутствует примечание - будет выводиться диалговое окно со списком найденных примечаний
2) ЕСЛИ Примечаний нет, то вообще никаких окон - сразу с текстом можно работать

Будет в следующей версии.
(Я постепенно пришел к такому же выводу: без предварительного сообщения пользователю примечания автоматом вставлять нельзя )

[tonio_k]

Хочу поделится небольшим Лайфхаком, которым я сам часто пользуюсь.
В Демагоге очень классно реализована расширенная система поиска и замен
(Правка Найти/Заменить) с возможностью сохранить запросы как шаблон. Причем шаблон может быть как поиска так и замен! Поддержка регулярных выражений для поиска и замен дает очень мощный инструмент по анализу и выборочной работе с текстом. Добавлять поисковые запросы можно прямо из окна поиска.
Шаблоны хранятся в файле \Demagog\profiles\search.lst - в нем можно редактировать, сортировать и даже добавлять комментарии для удобства серфинга между шаблонами.
Очень важная кнопка в этом поисковике - "Все подходящие" Она позволяет из текста выводить в окно Статистики текст найденный по поисковому запросу. Вместо того, что бы прыгать от слова к слову можно все словосочетания с поисковым словом вывести в другое окно - и всё перед глазами в небольшом объеме. А если в файле с омографами добавить это слово, то найденные слова будут дополнительно подсвечены.

Вот пример моих поисковых запросов которыми я сам часто пользуюсь (их можно добавить в ваш файл search.lst):

► Показать

Код: Выделить всё

R слово[^.!?]{0,200}слово=_SEARCH_ONLY_

R ^(.*)часть_слова(.*)$=_SEARCH_ONLY_
R ([^\r\n]{1,55})часть_слова([^\r\n]{1,55})=_SEARCH_ONLY_

R ^(.*\b)слово(\b.*)$=_SEARCH_ONLY_
R ([^\r\n]{1,50}\b)слово(\b[^\r\n]{1,50})=_SEARCH_ONLY_

R #Поиск слов в словаре:
R ^(.)+=(.*)ПОСЛЕ_равно(.*)$::_SEARCH_ONLY_
R (#(\w+,)*\b)ИНДЕКС(\b[^#]+)=_SEARCH_ONLY_

Распишу каждую строку что она делает.
слово[^.!?]{0,200}слово
- если вы хотите найти какое-то место в книге, но помните только пару слов примерно находящиеся в одном предложении, то вместо слово заменяете на свой вариант или его часть, нажмете поиск и с большой вероятностью вы найдете это место в книге.

^(.*)часть_слова(.*)$
([^\r\n]{1,55})часть_слова([^\r\n]{1,55})
Применяется с кнопкой "Все подходящие". Выводит в окно статистики все абзацы с искомой частью слова. Вторая строка тоже самое, но в окружении одинакового количества символов окружающих это слово. Получается список, где это слово почти в каждой строке находится ровно по середине.

^(.*\b)слово(\b.*)$
([^\r\n]{1,50}\b)слово(\b[^\r\n]{1,50})
Тоже самое что и часть_слова, но ищет целое слово

^(.)+=(.*)ПОСЛЕ_равно(.*)$
Для поиска строки, содержащую искомую часть слова в словарях REX и DIC которое находится после знака равно.

(#(\w+,)*\b)ИНДЕКС(\b[^#]+) - для поиска ключевого индекс слова в словаре REX, отредактированный под скоростной Индексный метод применения словарей REX. Выделяет все правила относящиеся к этому Индекс слову

Обилие скобок в поисковых запросах сделано специально для удобства - что бы при двойном клике мыши выделялась только редактируемая часть поискового запроса.

[tonio_k]

- просто перетаскиваю в окно несколько выделенных файлов книг в fb2 и сохраняю автоматом в тхт)- в Демагоге такое не предусмотрено

В Демагоге предусмотрено, но немного по другому:
Сервис - Преобразовать текст - Пакетный конвертер --> TXT

Может добавить опцию выбора: Файлов... или Вкладок... - аналогично функции сравнение файлов?

[flegont]

Подумаю над этим.

[tonio_k]

Иногда не хватает списка - истории открытых файлов как в некоторых текстовых редакторах - с возможностью открыть этот файл. Но только что бы история касалась только открываемых файлов через пункт меню Файл - Открыть или Перетаскивании в окно Демагога. И, соответственно, что бы в список не попадали словари. Открытие файлов при помощи скрипта - тоже что бы игнорировались при внесении в историю.

[flegont]

"Файл - Недавние".

[regacaty]

Вопрос по движку Николай (установлен файл: Acapela-Elan-TTS-5.1-RUS-Nicolai) - Demagog видит его, но не читает - выдает ошибку.

Demagog 1.png (22.46 КБ) 47882 просмотра

Балаболка, mp3book2005, koobaudio - читают и записывают.
Что нужно сделать, чтобы программа начала с ним работать?
ОС: windows 10 enterprise 2016 ltsb x64 9057886

[flegont]

В "Сервис - Ощие настройки - Чтение", при чтении Николаем под SAPI 5 должна быть галочка "Игнорировать теги SAPI 5". Иначе Николай не поймет, что символы < > в тексте - это знаки ударения.

[regacaty]

В "Сервис - Ощие настройки - Чтение", при чтении Николаем под SAPI 5 должна быть галочка "Игнорировать теги SAPI 5". Иначе Николай не поймет, что символы < > в тексте - это знаки ударения.

Галочку отметил, не работает - тоже окошко с ошибкой.

[regacaty]

Удалил программу с диска :С, запустил просто из обычной папки на другом диске - увидел Николая и даже читает)

Попробовал записать книгу в мп3 Николаем, записалось 85 файлов (примерно по 20кб), скрипт выбирал самый первый. В сериалах выбрал - части по 10 минут. Книга по звучанию где-то 8.5 часов. Видимо, что не правильно понял и выбрал что-то не то)

[flegont]

из папки на другом диске

Наверное, Win 10 как-то ограничивает Николаю права на диске C:
У меня он, кстати тоже на Win 10 Pro на диске D: проживает, хотел сразу об этом написать, но не успел

[tonio_k]

скрипт выбирал самый первый

а что за скрипт под Николая? Если вы применили к Николаю скрипт написанный для Максима, то вылет вполне возможен. Нужно скрипт корректировать под ваши словари.
Я гляжу Николай Очень популярен до сих пор. Пора сделать экспериментальную сборку для Николая со всеми скриптами....

[flegont]

Да, действительно... Старик Николай Еланович Дигало оказался весьма живуч и крепок Может быть, потому, что несмотря на хрипатость и монотонность, ритмика речи у него по настоящему русская.

[tonio_k]

[~] Через диалог открытия файлов, или перетаскиванием можно открыть одновременно до 16 файлов.

"автоматическая вставка Примечаний при открытии файлов" при таком способе не работает

[flegont]

а нужна ли она при таком массовом открытии? имхо - вопрос дискуссионный. Впрочем, подумаю. Всё равно, скоро будет 376-я