Типичные ошибки распознавания - собираем статистику для скрипта ФБЕ

Собираю статистику по наиболее частым типичным ошибкам распознавания для включения их в скрипт ФБЕ:

Варианты:
пе (не), оп (он), пи (ни), ва (за), пее (нее), опа (она)...

Прошу участвовать всех желающих.

Дополненный список я хочу включить в недавно обновленный скрипт "Поиск по набору регэкспов", автор Sclex (http://groups.google.com/group/fiction-book-editor/browse_thread/thread/b4700ee54d255384), работающий под ФБЕ.
Собранная статистика еще больше упростит отлов косяков сканирования и, соответственно, позволит более качественно и быстро делать верстку отсканенных книг и быстрее находить косяки в уже сделанных книгах тем, кто занимается их правкой-вычиткой.

Сейчас данный скрипт у меня ищет:
- смесь латиницы с кириллицей во всех вариантах,
- смесь букв с цифрами,
- неправильные дефисы-тире,
- мусор после скана,
- концы строк без знаков препинания
- неполный курсив слова
- указанные выше типичные ошибки распознавания
и другие подозрительные места.

Использование этого скрипта заметно сокращает время работы над книгой в ФБЕ.

Комментарии

wotti Раньше пробовал его подключать на кнопку в панели инструментов - у меня почему-то пропали все подсказки в нижней области окна... - это я один такой не счастливый? Да, Вы забыли сказать - чтоб поместить любой скрипт в панель инструментов - нужно создать иконку с именем скрипта и поместить ее рядом со скриптом.

JonVic написал:
wotti
Раньше пробовал его подключать на кнопку в панели инструментов - у меня почему-то пропали все подсказки в нижней области окна... - это я один такой не счастливый?
Да, Вы забыли сказать - чтоб поместить любой скрипт в панель инструментов - нужно создать иконку с именем скрипта и поместить ее рядом со скриптом.

Насчёт иконки - вы правы, это нужно подчеркнуть.

Но скрипт можно и "подвесить" на hotkey. Я с этим именно так и сделала. Подсказки слева внизу - ОК.

JonVic написал:
wotti
Раньше пробовал его подключать на кнопку в панели инструментов - у меня почему-то пропали все подсказки в нижней области окна... - это я один такой не счастливый?
Да, Вы забыли сказать - чтоб поместить любой скрипт в панель инструментов - нужно создать иконку с именем скрипта и поместить ее рядом со скриптом.

Ну на многие скрипты есть штатные иконки, но таки да.
я пользуюсь версией ФБЕ 2.5 (2.6 у меня на ХР почему-то дико тормозит) А фича подсказки внизу экрана предусмотрена, ЕМНИП, только начиная с 2.6. Но я как-то привык уже без подсказок обходится )))

УПД. На кнопку в панели инструментов или панели скриптов?

Ошибся, да ставил на панель скриптов.
Так на работе стоит FBE 2.6 (Win XP) и если помещаю на панель, то подсказки пропадают... да ладно, эт не существенно.
Дома вынужден пользоваться FBE 2.5, т.к. в FBE 2.6 были проблемы с сохранением.
А на панель инструментов можно добавить допустим "Сохранить как" и "Заменить"?
Панель для редактирования доступна, но слева пусто...

JonVic написал:

А на панель инструментов можно добавить допустим "Сохранить как" и "Заменить"?
Панель для редактирования доступна, но слева пусто...

Нет. В перечне доступных их нет.

Но снова рекомендую Вам "горячие клавиши". Тем более, что для "заменить" есть уже по дефолту - Ctrl+H.
Для "Сохранить как..." тоже есть, но я, например, изменила на удобную для себя комбинацию.
Кстати, все комбинации можно увидеть рядом с пунктами меню. А изменить их можно, как уже писал Wotti, через "Сервис -- Настройки -- Клавиши". Там есть и "навигация", и "просмотр", и "редактировать".

golma1 Про комбинации клавиш в курсе, хоть я и старой закалки, мышка меня разбаловала ;) А что мешает увеличить список доступных команд в следующей версии?.. но это так, мысли вслух.

JonVic написал:
golma1
Про комбинации клавиш в курсе, хоть я и старой закалки, мышка меня разбаловала ;)
А что мешает увеличить список доступных команд в следующей версии?.. но это так, мысли вслух.

К сожалению SeNS очень занят в реале и развитие ФБЕ остановилось на v2.6. Улучшения сейчас происходят за счёт новых скриптов Sclex-а (и модернизации старых скриптов) и большой работы по наполнению и улучшению функции проверки орфографии, которую проводит Shaman.
Но задумки по улучшению самой программы, его функционала - есть. SeNS обещал, как минимум, сделать панель работы с иллюстрациями.
Как он сам сказал - Так что, еще раз: *пробуем найти программиста!*

wotti Ясно. Жаль, а ведь как все начиналось...

TaKir А когда будет готова Ваша версия скрипта "Поиск по набору регэкспов"? Спрашиваю не из праздного любопытства - собираю книжную серию и прогоняю скриптами...

JonVic написал:
TaKir
А когда будет готова Ваша версия скрипта "Поиск по набору регэкспов"?
Спрашиваю не из праздного любопытства - собираю книжную серию и прогоняю скриптами...

А там Выше Roxana выложила - это и есть сборка всего появившегося в последнее время на основе регэкспов Такира.

golma1 Так это версия не от Такира, а от Roxana, а я спрашиваю Такира, где можно скачать его последнюю версию после "Скрипт__TaKir_24_01_2011.zip", если она есть конечно...

JonVic написал:
golma1
Так это версия не от Такира, а от Roxana, а я спрашиваю Такира, где можно скачать его последнюю версию после "Скрипт__TaKir_24_01_2011.zip", если она есть конечно...

Хэх... Даже не знаю, что Вам ответить. В-)
Ну да ладно, Такир сам ответит, если сочтёт нужным. ;-)

Дело в том, что Такир и сделал этот блог, для возможности обсуждения и добавления скрипта.
Этот скрипт, ув отличии от остальных - имеет возможность индивидуальной настройки.
Версия Такира входит в первоначально выложенную версию скрипта. Она минимальна и послужила основой этой темы, обсуждения и добавления . Т/е версия Роксаны, Голмы, wotti, и др. являются просто расширенной версией Такира. Для некоторых книг, в зависимости от особенностей я добавляю пару строчек, для других - закрываю слэшами пару-тройку ненужных в данной книге регэспов.
в общем этот скрипт может меняться не только у каждого юзера, но и у каждого файла. Скрипт Такира - базовый. Остальное - надстройки.

wotti Все это понятно и я не спорю - у каждого пользователя свои настройки... Просто хотелось начать плясать от "расписной" печки, а не от "буржуйки". Вы можете выложить свои настройки?

JonVic написал:
wotti
Вы можете выложить свои настройки?

Они у меня без пояснений, так как у меня стоит 2.5-версия в которой они не показываются, а выкладывать их я не планировал.
Вы скажите какие именно вам нужны регеспы и, многие из отметившихся здесь, с удовольствием вам помогут их написать. А как вставить их в свой скрипт я уже описал))

Еще в копилку:
иди -> или
узе -> уж
пули -> пути
гам -> там
далее -> даже

Roxana написал:
Еще в копилку:
фация - грация
иди -> или
узе -> уж
пули -> пути
гам -> там
далее -> даже

фация - грация
узе -> уж
- отлично, можно сразу вставлять:
tagRegExp("(?<![а-яё])фация(?![а-яё])","i","Найдено: слово "фация" ("грация" с опечаткой).");
tagRegExp("(?<![а-яё])узе(?![а-яё])","i","Найдено: слово "узе" ("уж" с опечаткой).");

гам -> там тоже неплохо ( с некоторым допуском на ложные срабатывания)
tagRegExp("(?<![а-яё])гам(?![а-яё])","i","Найдено: слово "гам" ("там" с опечаткой).");

А вот
далее -> даже
пули -> пути
имхо создадут кучу холостых выстрелов)))

Согласна, но это как раз те случаи, которые можно отключать в зависимости от книги.

wotti Пояснения не актуально для меня - главное сочетания символов... - выложите, а там я разберусь и допишу подсказки... ;) Есть задумка свести данный топик воедино (может у Вас есть еще что добавить) и выложить здесь - для использования желающими...

Может кто в курсе - как реализовать поиск "... Слово" в начале параграфа?
(многоточие пробел Слово)

JonVic написал:
Может кто в курсе - как реализовать поиск "... Слово" в начале параграфа?
(многоточие пробел Слово)

Я обычно ищу в режиме source, без регэкспов: "<p>... "

JonVic написал:

Может кто в курсе - как реализовать поиск "... Слово" в начале параграфа?
(многоточие пробел Слово)

RegExp

addRegExp("^[…] [а-я]","i","Найдено:многоточие в начале строки");

s_Sergius Если их много, да лучше удалить их все с помощью "Поиск и замена" в текстовом режиме... Но зачастую таких косяков очень мало, как и авторов любящих начинать абзац с многоточия. И часто я просто забываю проверить многоточие в начале абзаца.

golma1 Спасибо, завтра попробую подключить эту напоминалку...

В первой же книге нашел много ошибок, оказывается мало кто проверяет знаки препинания:
[collapsed title=открыть]
addRegExp("[!?.,:;][…]","i","Найдено:троеточие после знаков препинания...");
addRegExp("[.,:;][,]","i","Найдено:возможно ошибка синтаксиса");
addRegExp("[,:;][.]","i","Найдено:возможно ошибка синтаксиса");
addRegExp("[а-яё!-?»] […]","i","Найдено:троеточие пытается убежать");
addRegExp("[…][!-?]","i","Найдено:знаки препинания... после троеточия");

addRegExp("[а-яё] но ","i","Найдено: НО после слова без запятой, либо нужно ПО");
[/collapsed]
Поправьте, если что не правильно, или можно что еще добавить...
Еще в скрипт от Roxana можно добавить:
[collapsed title=открыть]
tagRegExp("(?<![а-яё])тою(?![а-яё])","i","Найдено: слово "тою" ("того" с опечаткой).","",1);
tagRegExp("(?<![а-яё])го(?![а-яё])","i","Найдено: слово "го" ("по или то" с опечаткой).","",1);
tagRegExp("(?<![а-яё])ои(?![а-яё])","i","Найдено: слово "ои" ("он" с опечаткой).","",1);
[/collapsed]

"гобой" --> "тобой"
tagRegExp("(?<![а-яё])гобой(?![а-яё])","i","Найдено: слово "гобой" ("тобой" с опечаткой).","",1);

Из "найдено буквы в пробелах" убрала "б" - слишком часто встречается в тексте.
addRegExp("[\\x20\\xA0\\t\\n\\r\\f][г,д,е,ё,з,й,л,м,н,п,р,т,ф,х,ц,ч,ш,щ,ъ,ы,ь,э,ю][\\x20\\xA0\\t\\n\\r\\f]","i","Найдено:буквы в пробелах");

"Б" действительно часто находилось, я как раз сегодня это обнаружил. Только запятые в регэкспе не нужны (а то будет находить запятую наравне с буквами), лучше просто:

addRegExp("[\\x20\\xA0\\t\\n\\r\\f][гдеёзйлмнпртфхцчшщъыьэю][\\x20\\xA0\\t\\n\\r\\f]","i","Найдено: буква между пробелами");

Sclex написал:
"Б" действительно часто находилось, я как раз сегодня это обнаружил. Только запятые в регэкспе не нужны (а то будет находить запятую наравне с буквами), лучше просто:

addRegExp("[\\x20\\xA0\\t\\n\\r\\f][гдеёзйлмнпртфхцчшщъыьэю][\\x20\\xA0\\t\\n\\r\\f]","i","Найдено: буква между пробелами");


Ага, спасибо. :)

А чего он не ищет всякие "ххх- " (слово+дефис+пробел)?

ab_ovo написал:
А чего он не ищет всякие "ххх- " (слово+дефис+пробел)?

??? У меня прекрасно ищет:

После OCR вместо И, П и Н часто появляется II. Записал в виде:
tagRegExp("(?![а-яё])II(?![а-яё])","i","Найдено: слово \"II\" (\"И\" с опечаткой).");
Правильно? Или возможен другой вариант?
Между знаками ? и ! должен стоять символ "<". Я убрал его, т.к. иначе строка не отображалась полностью. Почему-то.

Вообще-то это должно искаться другими регеспами

Ищется, когда имеется смесь латиницы с кириллицей. А если отдельно стоящий союз "И" - нет.

Поиск слов с двумя дефисами типа: как-ни-будь
tagRegExp("([a-zа-яё]-[a-zа-яё]*?-[a-zа-яё])","i","Найдено: слово в двумя дефисами).","",1);

у меня частенько заглавная буква \Л\ превращается в \JI\ (особенно в инициалах):
tagRegExp("(?<%![a-zа-яё])JI(?![a-zа-яё])","i","Найдено: \"JI\" (\"Л\" с опечаткой).");

УБРАТЬ ЗНАК %

Цитата:
поиск слов с двумя дефисами типа: как-ни-будь

Большое спасибо, очень полезные добавления.

XtraVert написал:
Цитата:
поиск слов с двумя дефисами типа: как-ни-будь

Большое спасибо, очень полезные добавления.

Могу предложить для поиска слов с двумя дефисами и замены вот такой отдельный регесп:

([a-zа-яё])-([a-zа-яё]*?)-
в поле замены:
$1$2
Но нужно проверять - замена убирает дефисы вообще, так, что "ЗАМЕНИТЬ ВСЁ" здесь не пройдёт. Но мне удобно :))

wotti написал:

у меня частенько заглавная буква \Л\ превращается в \JI\ (особенно в инициалах):
tagRegExp("(?<%![a-zа-яё])JI(?![a-zа-яё])","i","Найдено: \"JI\" (\"Л\" с опечаткой).");
УБРАТЬ ЗНАК %

А почему так сложно? И "i", по-моему, тут лишнее. Мы же только о верхнем регистре говорим, или?

У меня
tagRegExp("(JI)","","Найдено: ,буквы  "JI" (возможно, Л).","",1);
тоже работает.

Я что-то упустила?

golma1 написал:
wotti написал:

у меня частенько заглавная буква \Л\ превращается в \JI\ (особенно в инициалах):
tagRegExp("(?<%![a-zа-яё])JI(?![a-zа-яё])","i","Найдено: \"JI\" (\"Л\" с опечаткой).");
УБРАТЬ ЗНАК %

А почему так сложно? И "i", по-моему, тут лишнее. Мы же только о верхнем регистре говорим, или?

У меня
tagRegExp("(JI)","","Найдено: ,буквы  "JI" (возможно, Л).","",1);
тоже работает.

Я что-то упустила?


Ты права
Наверное нужно таки вставить впереди кириллицу и пробел

wotti написал:

Ты права
Наверное нужно таки вставить впереди кириллицу и пробел

Нет, пробел не надо, а то в начале строки не выловит. Или?
А если кириллица, то сработает регэксп на "смесь кириллицы и латиницы".

golma1 написал:
wotti написал:

Ты права
Наверное нужно таки вставить впереди кириллицу и пробел

Нет, пробел не надо, а то в начале строки не выловит. Или?
А если кириллица, то сработает регэксп на "смесь кириллицы и латиницы".


Дело в том. что этот косяк у меня проявляется ТОЛЬКО в начале слова или в инициалах
Да бог с ним - я бывает и просто заменой меняю, если латинского нет в тексте

wotti написал:

Дело в том. что этот косяк у меня проявляется ТОЛЬКО в начале слова или в инициалах

Угу, у меня тоже. Я именно для инициалов сделала. Но инициалы бывают и в начале строки. ;)

Заметил что в ФР11 при сохранении в ФИ2 картинки часто оформляются тегом table
А если картинок много - руками править не комфортно.
в режиме кода сделать масс-замену регеспом
найти: (</table>)|(<table>|<td/>|<td/>|</tr>|<tr>|<th/>)
заменить на: ( ничего)
Удобно когда изображений много и идут блоками. как в сериях ЖЗЛ или в "Повседневная жизнь"

wotti написал:
Заметил что в ФР11 при сохранении в ФИ2 картинки часто оформляются тегом table
А если картинок много - руками править не комфортно.
в режиме кода сделать масс-замену регеспом
найти: (</table>)|(<table>|<td/>|<td/>|</tr>|<tr>|<th/>)
заменить на: ( ничего)
Удобно когда изображений много и идут блоками. как в сериях ЖЗЛ или в "Повседневная жизнь"

Спасибо. А то я их каждую массовой заменой удаляла. :(

wotti написал:
Заметил что в ФР11 при сохранении в ФИ2 картинки часто оформляются тегом table
А если картинок много - руками править не комфортно.
в режиме кода сделать масс-замену регеспом
найти: (</table>)|(<table>|<td/>|<td/>|</tr>|<tr>|<th/>)
заменить на: ( ничего)
Удобно когда изображений много и идут блоками. как в сериях ЖЗЛ или в "Повседневная жизнь"

Спасибо. А то я их каждую массовой заменой удаляла. :(

Cгорел комп и "всё, шо нажито непосильным трудом, — всё погибло"(с).
Программки нужные уже установил, но не хватает актуальных скриптов. Поделитесь, пожалуйста.

Поиск по набору регэкспов
http://minus.com/m74y1WFI0

wotti написал:
Поиск по набору регэкспов
http://minus.com/m74y1WFI0

Скачалось - «Ярлык для 17_Поиск по набору регэкспов.lnk» - 943 байт.

justserge написал:
wotti написал:
Поиск по набору регэкспов
http://minus.com/m74y1WFI0

Скачалось - «Ярлык для 17_Поиск по набору регэкспов.lnk» - 943 байт.

Сорри ступил:

http://www.multiupload.com/L2KTM7AE47

Цитата:
Скачалось - «Ярлык для 17_Поиск по набору регэкспов.lnk» - 943 байт.

таки да. не скрипты это.

Перестал работать скрипт "Латиница в Кириллице". Подскажите в чем может быть проблема, плз.

Страницы

X