MyTTS

Код: Выделить всё

s = "日本"  -- написать юникод в Lua-скрипте можем
ShowMessage(s)  -- работать с ним - нет

Код: Выделить всё

r = [[\bвсе\b\s+(\w+)\s+(\w+)ло\b=всё $1 $2ло]]
s = [[Мне все давно надоело...]]
s = RexRepl(s,{r})
ShowMessage(s)

Код: Выделить всё

r = [[все * *ло=всё ло]]
s = [[Мне все давно надоело...]]
s = DicRepl(s,{r})
ShowMessage(s)

Код: Выделить всё

d = LoadFromFile(HomeFolder('dic')..'Michel.dic',true)
s = WText(1)
z = os.clock()
s = DicRepl(s,d)
ShowMessage('Time = '..os.clock()-z)
WNew(0,s)

Код: Выделить всё

-- СРАВНИТЬ СКОРОСТЬ РАБОТЫ ПРАВИЛ (ДА=1)
yes_no = 0

Код: Выделить всё

r0 = [[
(\bатласными\b)((\s(\w+)?){1,}(подушками)(\w+)?)=атлАсными $2
]]
r1 = [[
\b(атласными)\s+([^\.,!?-]*)\b(подушками)=атлАсными $2$3
]]
s = [[
атласными и всякими разными подушками
]]

-- СРАВНИТЬ СКОРОСТЬ РАБОТЫ ПРАВИЛ (ДА=1)
yes_no = 0

log_s = s
log_s0 = RexRepl(s,{r0})
log_s1 = RexRepl(s,{r1})

if yes_no == 1 then
n=10000 
k=''
for i = 1,n do
k=s..'\r'..k
end
s = k
end 

z = os.clock()
s0 = RexRepl(s,{r0})
log_r0 = 'Time = '..os.clock()-z

z = os.clock()
s1 = RexRepl(s,{r1})
log_r1 = 'Time = '..os.clock()-z

z = os.clock()
s0 = RexRepl(s,{r0})
log_r0 = log_r0..'\r'..'Time = '..os.clock()-z

z = os.clock()
s1 = RexRepl(s,{r1})
log_r1 = log_r1..'\r'..'Time = '..os.clock()-z

z = os.clock()
s0 = RexRepl(s,{r0})
log_r0 = log_r0..'\r'..'Time = '..os.clock()-z

z = os.clock()
s1 = RexRepl(s,{r1})
log_r1 = log_r1..'\r'..'Time = '..os.clock()-z

ShowMessage(log_s..'\r'..log_s0..'\r'..log_s1..'\r\r'..'Павило r0\r'..log_r0..'\r\r'..'Павило r1\r'..log_r1)

Код: Выделить всё

local yn_cap = 'СРАВНИТЬ СКОРОСТЬ РАБОТЫ ПРАВИЛ?'
local r0_cap = 'Регулярное выражение №1'
local r1_cap = 'Регулярное выражение №2'
local s_cap = 'Введите тестовую строку'

local r0_def = [[
(\bатласными\b)((\s(\w+)?){1,}(подушками)(\w+)?)=атлАсными$2
]]
local r1_def = [[
\b(атласными)\s+([^\.,!?-]*)\b(подушками)=атлАсными $2$3
]]
local s_def = [[
атласными и всякими разными подушками
]]

local r0 = Input(r0_cap,{string.format('rex #1=%s',r0_def)})
if not r0 or r0[1] == '' then
    ShowMessage('Необходимо зполнить "Регулярное выражение №1"')
    goto HALT
else
    r0 = r0[1]
end
local r1 = Input(r1_cap,{string.format('rex #2=%s',r1_def)})
if not r1 or r1[1] == '' then
    ShowMessage('Необходимо зполнить "Регулярное выражение №2"')
    goto HALT
else
    r1 = r1[1]
end
local s = Input(s_cap,{string.format('Строка=%s',s_def)})
if not s or s[1] == '' then
    ShowMessage('Необходимо зполнить тестовую строку')
    goto HALT
else
    s = s[1]
end


-- СРАВНИТЬ СКОРОСТЬ РАБОТЫ ПРАВИЛ (ДА=1)
local yes_no = Menu(yn_cap, {'Да','Нет'})
if yes_no == 0 then goto HALT end


function rex_time(str, rex)
    local z = os.clock()
    local s0 = RexRepl(str,{rex})
    return string.format('Time = %s\n', os.clock()-z)
end


local log_s = s
local log_s0 = RexRepl(s,{r0})
local log_s1 = RexRepl(s,{r1})

if yes_no == 1 then
    local n = 10000
    s = string.rep(s, n, '\n')
end


local log_r0 = ''
local log_r1 = ''


for i=1,3 do
    log_r0 = string.format('%s%s',log_r0,rex_time(s, r0))
    log_r1 = string.format('%s%s',log_r1,rex_time(s, r1))
end

out = string.format('%s\n%s\n%s\n\nПравило r0\n%s\n\nПравило r1\n%s',log_s, log_s0, log_s1, log_r0, log_r1)
ShowMessage(out)

::HALT::

Код: Выделить всё

string.rep(s, n [, sep])

Код: Выделить всё

-- блоки для разных экспериментов
goto B2  -- выполнить нужный блок

::B1::
-- блок 1
    ...
goto HALT

::B2::
-- блок 2
    ...
goto HALT

::B3::
-- блок 3
    ...
goto HALT
...
...
::HALT::

Код: Выделить всё

#адреса
\b(букв|другого|насчёт|несуществующего|обратного|первого|поиск|постоянного|сетевого)([^\.,:!?-]*)\s+(адреса)\b=$1$2 Адреса
\b(без марок|имени)\s+(и|или|с)\s+(\bадреса\b)=$1 $2 Адреса
\b(без|без [егоёих]{1,3}|однако [егоёих]{1,3}|ближе|вместо|вдоль|вглубь|вне|внутр[ьи]|возле|возле [егоёих]{1,3}|вокруг|всего|второй|выше|выше [егоёих]{1,3}|глубине|дальше|дв[ае]|для|для [егоёих]{1,3}|до|до [егоёих]{1,3}|другой|из|из [запод]{1,3}|кроме|кроме [егоёих]{1,3}|мимо|моего|моей|напротив|нашего|нашей|нет|при себе её|ни|ни [егоёих]{1,3}|ниже|об[ае]|оба [егоёихэт]{1,3}|одной|от|от [егоёих]{1,3}|около|первой|посреди|против|против [егоёих]{1,3}|с|с [егоёих]{1,3}|своего|своей|сего|следующей|снаружи|твоего|твоей|той|того|три|у|у [егоёих]{1,3}|четыре|этого)\s+(\bадреса\b)=$1 Адреса
\b(пароля)(\S| -) адреса=$1$2 Адреса
(\bадреса)\s([^\.,:!?-]*)\b(не )(будет|зна[етлю]+|остави[влт]|куда выслать|моей|помню|скажу|спросил)(\w+)?=Адреса $2$3$4$5
#

#аду
\b(настоящему|полыхающему)([^\.,:!?-]*)\s(\bаду\b)=$1$2 Аду
#

#ангара
(\bангара\b)\s([^\.,:!?-]*)\b(на связи)\b=ангарА $2$3
#

Код: Выделить всё

h = LoadFromFile(HomeFolder('dic')..'MySlovar.rex',true)

Код: Выделить всё

-- Надо найти в тесте книги все слова, которые есть в в левых частях правил из списка h
WOpen(1,f)  -- открыть файл книги f в окне 1
s = WText(1)  -- извлечь текст из окна 1 в строку s
-- просмотр всех слов в строке s
z = 1
while true do
    if j ~= nil then
        i, j = string.find(s, '%a+',z) -- найдены позиции начала и конца очередного слова
        w = string,sub(s,i,j) -- очередное слово
        -- проверяем: есть ли w в h
        omo = {}  -- список правил из словаря, для которых есть омографы в тексте
        for i = 1,#h do
           -- тут каким-то способом выделяем из h[i] левую часть
           ...
           left = ...
           if left == w then 
               omo[#omo+1] = h[i] -- занесли подходящее правило в список
           end 
        end 
    end
end
-- в осадке остался список "подходящих" к данной книге правил
-- применяем их к строке s
RexRepl(s, omo) 
SaveToFile({s},'Измененный текст.txt')

Код: Выделить всё

ind = WActive()
s = WText(ind)
header = 'Поиск фрагментов с заданными словами'
askname = 'Регулярное выражение (REX):'
defname = [[^(.)*(.)*=(.)*(.)*$]]

::START::

if FileExists('#rexFind.@') then 
    fnd = LoadFromFile('#rexFind.@')[1]
else
    fnd = defname
end

fnd = Input(header,{askname..'='..fnd})
if not fnd then goto HALT end
fnd = fnd[1]
if fnd == [[]] then 
	fnd = defname
	SaveToFile({fnd},'#rexFind.@')
	goto HALT
 end

SaveToFile({fnd},'#rexFind.@')

WNew(0)
r = fnd
k = 1
while k > 0 do
    fnd, k = RexMatch(s,r,k)
    WLog(fnd)
    if k > 0 then k = k+#fnd+1  end
end
WActive(0)

-- установить курсор на первой позиции найденного
s = WText(ind)
fnd, k = RexMatch(s,r,1)
if k > 0 then WSel(ind,k-1,#fnd) end

::HALT::

Код: Выделить всё

ind = WActive()
s = WText(ind)
header = 'Поиск фрагментов с заданными словами'
askname = 'Регулярное выражение (REX):'
defname = [[\#(адреса|аду|ангара|атлас|атласа)[^#]+]]

::START::
fnd=defname
WNew(0)
r = fnd
k = 1
while k > 0 do
    fnd, k = RexMatch(s,r,k)
    WLog(fnd)
    if k > 0 then k = k+#fnd+1  end
end
WActive(0)

-- установить курсор на первой позиции найденного
s = WText(ind)
fnd, k = RexMatch(s,r,1)
if k > 0 then WSel(ind,k-1,#fnd) end

::HALT::

Код: Выделить всё

-- полный rex-словарь омографов
local rex = WText(1)

-- окно с текстом книги
local text = WText(2)

-- сокращённый rex
local short_rex = {}


-- разбираем словарь на хэш-таблицу "слово_омограф"="строки с правилами"
local rules = {}
for i,j in string.gmatch(rex, '###([^\r\n ]+)(.-)###end') do
    rules[i]=j
end

-- составляем массив сокращённого rex-словаря
for i, j in pairs(rules) do
    -- если слово-омограф (ключ) есть в тексте, то добавляем его правила в сокращённый словарь
    if string.find(text,i) then
        -- разбиваем набор правил на отдельные строки для добавления в массив
        for rule in string.gmatch(j, "([^\r\n]+)") do
                table.insert(short_rex,rule)
        end
    end
end

-- применяем сокращённый словарь
local a = RexRepl(text, short_rex)
print(a)


-- печатаем содержимое сокращённого словаря
for i, j in pairs(short_rex) do
    print(i, j)
end

Код: Выделить всё

--черновик скрипта ускорения REX словарей с омографами (в словаре должны быть индекс-слова) SPEEDOMOREX

ind = WActive() -- получаем номер активного окна (окно с открытой книгой)

-- ПОЛУЧЕНИЕ СПИСКА ИНДЕКС-СЛОВ ИЗ СЛОВАРЯ REX
WActive(0)
homedir = HomeFolder('dic')

WOpen(0,homedir..'20_REX_Замены от waska.rex') -- открываем словарь, который надо ускорить

rex_dic = WText(0) -- в переменную текст из словаря REX (что бы повторно его не открывать)

s = rex_dic -- в переменную текст из словаря для получения индекс-слов  

WNew(0)
fnd = [[\#(\w+)]]
WNew(0)

r = fnd
k = 1

WLog([[\b(]])
while k > 0 do
    fnd, k = RexMatch(s,r,k)
    WLog(fnd)
	if k > 0 then k = k+#fnd+1  end
end
WLog([[)\b]])

s = WText(0) -- переносим список индекс слов в переменную

--!!!ЗДЕСЬ НУЖНА ЧИСТКА ОТ ДУБЛИКАТОВ!!! (пока не знаю как)

WNew(0)

--ЧИСТКА
r0 = [[
\#(\w+)[\r\n]+=$1|
[\r\n](\w+|)=$1
\|\)=)
]]

log_s = RexRepl(s,{r0}) -- проводим замены (чистка) и получаем критерий поиска по индекс словам



--АНАЛИЗ ТЕКСТА (поиск по полученному выше списку индекс-слов)
WActive(ind) -- активируем окно с книгой

fnd=log_s -- вместо автоматического ПОЛУЧЕНИЕ СПИСКА ИНДЕКС-СЛОВ ИЗ СЛОВАРЯ REX (выше) здесь можно сразу вручную указать свой поисковый запрос по шаблону REX по всем индекс-словам

r = fnd
k = 1
WLog([[\#(]])
while k > 0 do
    fnd, k = RexMatch(s,r,k)
    WLog(fnd)
	if k > 0 then k = k+#fnd+1  end
end
WLog([[)[^#]+]])
s = WText(0) -- записываем результат в переменную результат

--!!!ЗДЕСЬ НУЖНА ЧИСТКА ОТ ДУБЛИКАТОВ!!! (пока не знаю как)

--ЧИСТКА
r0 = [[
(\w+)[\r\n]+=$1|
[\r\n](\w+|)=$1
\|\)=)
]]

log_s = RexRepl(s,{r0}) -- получаем список слов, которые точно встречаются в тексте 
WNew(0)

s = rex_dic -- текст из словаря REX (который открывали в самом начале)

fnd=log_s
r = fnd
k = 1

while k > 0 do
    fnd, k = RexMatch(s,r,k)
    WLog(fnd)
    if k > 0 then k = k+#fnd+1  end
end
WActive(0)

WSave(0,homedir..'SPEEDOMOREX.rex') -- сохраняем новый ускоренный REX словарь в папку dic
WNew(0)

-- после применения к тексту словаря SPEEDOMOREX.rex его обязательно нужно удалить:
-- os.remove(homedir..'SPEEDOMOREX.rex')
-- что бы он не болтался среди акивных словарей

::HALT::

Код: Выделить всё

-- очистить список строк lines от дубликатов
t = {}  -- список без дубликатов
table.sort(lines)
t[1] = lines[1]
for i = 2, #lines do
    if lines[i] ~= t[#t] then t[#t+1] = lines[i] end
end
for i = 1, #t do
    print(t[i])
end  

Код: Выделить всё

if string.find(text,i) then

Код: Выделить всё

local b_start = "%%f[А-яёЁ]"
local b_end = "%%f[^А-яёЁ]"
key = string.gsub(i, "_", b_start)
key = string.gsub(key, "|", b_end)
--проверяем, есть ли в тексте наш заголовок-шаблон?
if string.find(text,key) then

Код: Выделить всё

-- преобразовать строку в таблицу
function string.totable(str)
	local tbl = {}	
	for i in string.gmatch(str,'[^\r\n]+') do
		table.insert(tbl, i)
	end
	return tbl
end

-- очистить список строк lines от дубликатов
function table.getuniq(lines)
	local t = {}  -- список без дубликатов
	table.sort(lines)
	t[1] = lines[1]
	for i = 2, #lines do
	    if lines[i] ~= t[#t] then t[#t+1] = lines[i] end
	end
	return t
end

local s = WText(1)

local tb = table.getuniq(string.totable(s))

for i = 1, #tb do
    print(tb[i])
end

Код: Выделить всё

lines = string.split(s,'\r\n')

Код: Выделить всё

-- очистить список строк lines от дубликатов
function table.getuniq(lines)
	local t = {}  -- список без дубликатов
	table.sort(lines)
	t[1] = lines[1]
	for i = 2, #lines do
	    if lines[i] ~= t[#t] then t[#t+1] = lines[i] end
	end
	return t
end

local s = WText(1)

-- таблица с неповторяющимися строками
local tb = table.getuniq(string.split(s,'\r'))

-- строка, полученная из таблицы, расположенной выше
new_s = table.concat(tb, '\r')

Код: Выделить всё

s = WText(0)

Код: Выделить всё

s = WText(0)
RexRepl(s,{r0}) 

Код: Выделить всё

-- сохранить этот скрипт в кодировке utf-8
-- и выполнить
s1 = 'Hello, World!'
s2 = 'Привет, Мир!'
s3 = 'こんにちは世界！'

ShowMessage(s1)
ShowMessage(s2)
ShowMessage(s3)

print(s1)
print(s2)
print(s3)

Код: Выделить всё

-- создание файла в кодировке utf-8
bom = '\239\187\191'  -- маркер кодировки utf-8
s = bom..utf8.char(9658)..'   '..utf8.char(12371)..utf8.char(12435) ..utf8.char(12395)..utf8.char(12385)..utf8.char(12399)..utf8.char(19990)..utf8.char(30028)..'!'
SaveToFile({s},'testUTF8.txt')
ShowMessage('Файл testUTF8.txt создан!')

Код: Выделить всё

►   こんにちは世界!

Код: Выделить всё

п»їв–є   гЃ“г‚“гЃ«гЃЎгЃЇдё–з•Њ!

Код: Выделить всё

►   こんにちは世界!