Распознавание таблиц: что изменилось после доработки

Замер на 12 сканах одной и той же финансовой таблицы: ровные листы, перекос от 5° до 15° в обе стороны, тень от лампы, фото под углом. Эталон известен заранее — 36 ячеек на каждом скане, всего 432. Ячейка засчитана, только если текст совпал полностью.

Совпадение с эталоном: одно число на отчёт и на приёмку

Главное одним взглядом

Кривые сканы — ради них всё и делалось

По каждому скану

«Таблица найдена: нет» означает, что распознавание не увидело таблицу совсем и вернуло текст сплошняком — колонок в результате не было.

Как выглядит результат сейчас

Скан «Скан с перекосом 8°, линии есть». Зелёным — ячейки, совпавшие с эталоном знак в знак, розовым — где есть расхождение.

Видно, что расхождения — это не перепутанные колонки, а мелочи внутри ячейки: знак рубля в шапке, пробел между разрядами, латинская «HP» прочитана как русская «НР». Сумма и количество стоят каждая в своей колонке. Сдвига значений между колонками нет ни на одном из 12 сканов (было 0 строк со сдвигом, стало 0).

Что мерили

Где по-прежнему плохо

Точности хватает?

Попробовать самому

Открыть распознавание

Загрузите скан или PDF — получите таблицу, экран проверки и файлы Markdown / JSON.

Два варианта распознавания на пяти документах — сравнение, цифры по качеству, скорости и весу, принятое решение и почему (там же — ссылка на подробности замера).

Как читается таблица — сначала находится сетка строк и столбцов, потом содержимое клетка за клеткой; числа и даты после распознавания приводятся к единому виду (там же — сколько значений уехало в чужую колонку раньше и сейчас).

Как текст режется по найденным линейкам — по строкам: соседние строки таблицы больше не попадают в один блок (прогон по всем пяти документам, «до / после») и по столбцам: соседние клетки бланка.

Сетка таблицы прямо на скане, на экране «Проверить и исправить» — прогон по всем пяти документам: линии совпадают с границами ячеек, щелчок по скану подсвечивает значение справа (со снимками экрана, включая перекошенный пример).

Что с сеткой сегодня и первый уровень вложенности — где сетка врёт на пяти документах и как внутри ячейки показывается её собственная мини-таблица (со снимками экрана).

Вложенность на любую глубину — проверка на рабочей ссылке: что видно на «Примере 2», сколько уровней на ваших бланках и как разбор берёт три уровня подряд (со снимком экрана и списком ограничителей, чтобы спуск не ушёл по кругу).

Слабые и перекошенные сканы — бледные и порванные линейки находятся, при перекосе сетка не рассыпается: «было / стало» на всех пяти документах и на перекошенном примере.

Какая линия что означает — внешняя таблица и разбивка внутри ячейки отличаются толщиной, цветом и штрихом, под переключателем есть подпись; там же — сверка, что линии не затирают текст скана.

Приёмка сетки на всех пяти примерах — каждый документ открыт на рабочей ссылке, сетка сверена с линейками бланка глазами: где совпало, где осталось расхождение и почему, плюс проверка, что клик по ячейке и разметка не сломались.

Где на выпрямленной странице проходят линейки таблицы — линии строк, найденные на всех пяти документах и границы столбцов: настоящий скан с нанесёнными линиями.

Замер точности по каждому файлу — сколько значений прочитано верно и что именно ломается.

Что даёт подготовка снимка перед чтением — один и тот же файл без подготовки и с подготовкой, рост по каждому файлу.

Тестовый набор из пяти ваших документов (скан + эталонный разбор к каждому) — список примеров, пояснение к формату эталона — что означает каждое поле.

Сверка с эталоном по каждому файлу — эталон и что распозналось, рядом, с подсветкой расхождений (там же процент верных значений до и после доработок).

Ручная разметка линий и сверка с автоматической сеткой — приёмка мышью на работающем сервисе: нарисовать линию, удалить, передвинуть, сохранить и увидеть её после перезагрузки; там же — крупные снимки шапки и правого края «Примера 2».

Приёмка всего пути на «Примере 2» — выбор примера, автовыравнивание, поиск структуры, ручная дорисовка, сохранение эталона, повторный автопоиск и чтение текста подряд: шапка и правый столбец теперь размечены ячейками, что осталось слабым местом — тоже там.

Как весь путь прошли на приёмке — отчёт о проверке со скриншотами.

Почему переход к блоку иногда не подсвечивает кусок скана — разбор на живом сайте: где именно обрывается связь.

Где текст склеивается из двух соседних столбцов — прогон пяти примеров: сколько таких блоков в каждом документе и что происходит с документом, снятым под углом.

Проверка глазами на экране распознавания — все пять документов по очереди: блок справа и его область на скане, отдельно документ с перекосом, снимки экрана.