Направление текста на изображении

Инструмент определяет направление текста на изображении и анализирует пространственное положение отдельных текстовых строк. На вход подается графический файл со сканом документа или фотографией печатного листа. Алгоритм выделяет текстовые блоки, оценивает их геометрию и вычисляет текущую ориентацию страницы. В результате пользователь получает точные численные параметры разворота и наклона, необходимые для корректного чтения или дальнейшей программной обработки документа.

Проверка ориентации служит базовым этапом подготовки графических данных перед передачей в системы OCR и анализом структуры макета. Если подать на распознавание перевернутый на 90 или 180 градусов скан либо фотографию со смещенным горизонтом, алгоритмы извлечения символов не смогут правильно разбить страницу на колонки и абзацы, что приведет к потере текста или набору бессмысленных знаков.

По итогам обработки входного файла формируются базовые геометрические параметры:

• дискретная ориентация страницы или отдельного текстового блока (0°, 90°, 180° или 270°);
• непрерывный угол поворота (наклона) строк относительно горизонтальной или вертикальной оси;
• общее направление чтения строк в пределах локализованных областей текста.

Эти выходные значения позволяют автоматически отфильтровать перевернутые кадры в потоке документов и передать точный угол для предварительного геометрического выравнивания изображения. Точная локализация строк исключает сбои на этапе сегментации символов.

Параметры ориентации и геометрия текстовых строк

Анализ пространственного расположения текста строится на четком разделении двух геометрических величин: грубой дискретной ориентации и точного непрерывного угла наклона. Эти показатели решают разные задачи на этапе подготовки документа и требуют раздельного вычисления.

Дискретная ориентация и непрерывный угол наклона

Дискретная ориентация фиксирует положение документа или отдельного текстового фрагмента с шагом в прямой угол. В результате проверки определяется одно из четырех базовых состояний: 0° (нормальное положение), поворот на 90°, поворот на 180° для перевернутых вверх ногами изображений или поворот на 270°. Такая классификация выявляет грубые ошибки позиционирования листа при подаче в сканер или смене ориентации камеры при съемке.

Непрерывный угол наклона строк (skew) описывает мелкое отклонение текста от идеальной горизонтали или вертикали, например, в пределах ±15°. Такой перекос возникает, когда бумажный лист сдвигается в лотке автоподатчика или документ фотографируют под небольшим углом в плоскости страницы. Даже при правильной дискретной ориентации 0° наклон в несколько градусов нарушает горизонтальное выравнивание строчек, из-за чего смежные строки начинают перекрывать друг друга по высоте при построчном сканировании.

Различия между этими двумя типами геометрических параметров и их влияние на обработку документа приведены в таблице:

Геометрические элементы текстовой строки

Для точного вычисления углов и локализации текста на изображении пространственное положение каждой строки описывается через набор геометрических примитивов. Вместо анализа всей страницы целиком вычисляются координаты конкретных структурных линий и контуров.

Геометрия отдельной текстовой строки задается следующими элементами:

• Ограничивающие рамки (bounding boxes) - прямоугольники или многоугольники, плотно охватывающие контур текстовой строки или отдельного слова. Координаты вершин рамки задают границы области с текстом и отсекают пустой фон документа. Если рамка ориентирована вдоль строки, угол наклона ее длинной стороны напрямую указывает на локальный поворот текста.
• Базовая линия (baseline) - воображаемая прямая или плавная кривая, на которую опирается нижний край большинства строчных и прописных букв, за исключением свисающих вниз элементов у символов вроде «р», «у» или «щ». Вектор базовой линии служит главным ориентиром для определения точного угла наклона строки и позволяет отличить нормальный текст от перевернутого на 180°, так как плотность символов вдоль нижней границы строки выше, чем вдоль верхней.
• TCL - осевая линия, проходящая строго по геометрическому центру текстовой строки от ее начала до конца. Поскольку TCL удалена от краев букв, она меньше подвержена искажениям из-за выступающих верхних и нижних элементов шрифта. Осевая линия используется как устойчивый каркас для отслеживания траектории строки при плотной верстке, когда соседние строки расположены слишком близко друг к другу.

Плоский наклон, перспективные искажения и изгиб строк

При анализе геометрии важно разграничивать плоский поворот и сложные пространственные деформации, которые часто встречаются на пользовательских фотографиях документов. Плоский наклон (skew) представляет собой двумерное вращение: все строки на странице остаются прямыми и параллельными друг другу, а расстояние между ними не меняется от края к краю листа. Такое смещение полностью описывается одним общим углом поворота.

Перспективное искажение возникает, когда оптическая ось камеры не перпендикулярна поверхности документа, например, при съемке лежащего на столе договора под острым углом. В этом случае прямоугольный лист приобретает форму трапеции. Текстовые строки перестают быть параллельными: они сходятся веером к точке схода, а высота букв и межстрочный интервал уменьшаются по мере удаления от объектива. У каждой строки на таком снимке формируется собственный угол наклона, поэтому единого значения skew для всей страницы не существует.

Изогнутый текст появляется при фотографировании или сканировании толстых книг, журналов на скрепке и сшитых папок, где бумага прогибается у корешка. Также криволинейные строки встречаются на круглых печатях, штампах и упаковках. На таких участках базовая линия и TCL превращаются из прямых отрезков в дуги. Если попытаться описать длинную изогнутую строку одной прямой прямоугольной рамкой, угол наклона будет усредненным и неточным, а в края рамки попадут фрагменты соседних строк. В подобных сценариях положение текста оценивается локально по коротким сегментам, что позволяет отследить изменение угла вдоль изгиба бумажного носителя.

Алгоритмические и нейросетевые методы анализа положения текста

В международной патентной классификации задачи определения направления и наклона строк на изображениях объединены в рубрику G06V30/1463. Технические решения в этой области делятся на две основные группы: классические математические алгоритмы компьютерного зрения и модели глубокого обучения. Классические подходы опираются на геометрические закономерности распределения пикселей на контрастном фоне, тогда как нейросетевые архитектуры анализируют визуальные признаки в несколько этапов, что позволяет находить текст даже на сложных цветных фотографиях.

Классические алгоритмы геометрического и проекционного анализа

Традиционные математические методы вычисляют положение строк за счет анализа пространственной структуры документа без распознавания смысла самих слов. Работа таких алгоритмов строится на последовательном выделении связных пиксельных областей и оценке их взаимного расположения:

• Сегментация блоков и извлечение геометрической структуры. Изображение очищается от мелких деталей, после чего соседние символы искусственно сливаются в единые плотные полосы с помощью морфологических операций или алгоритмов кластеризации (например, XY-cut и метода связных компонент). По полученным прямоугольным или многоугольным контурам вычисляются центры масс букв, через которые методами линейной регрессии или преобразования Хафа проводится вектор направления строки.
• Гистограммное сопоставление проекционных профилей. Изображение мысленно поворачивается под разными углами, и для каждого шага подсчитывается сумма темных пикселей вдоль горизонтальных и вертикальных линий. Когда угол проекции точно совпадает с реальным наклоном текста, на гистограмме возникает максимальный перепад высот: высокие пики приходятся на плотные текстовые строки, а глубокие пустые провалы соответствуют белым межстрочным интервалам.
• Алгоритм сравнения символов ориентации по выделенному подмножеству символов. Проекционные профили хорошо находят линию наклона, но не всегда способны отличить нормальное положение (0°) от перевернутого вверх ногами (180°). Для снятия этой неопределенности анализируется асимметрия конкретных букв. Алгоритм выделяет подмножество символов с характерными верхними и нижними выносными элементами и подсчитывает плотность пикселей выше и ниже основной части строки. Поскольку в большинстве алфавитов верхние выносные элементы встречаются чаще нижних, перевес плотности в нижней зоне сигнализирует о том, что строка перевернута на 180°.

Нейросетевые методы локализации и классификации

При обработке снимков со сложным фоном, тенями, бликами или нестандартной версткой классическая геометрия теряет точность. В таких условиях применяются CNN и FCN, которые извлекают признаки текста напрямую из пиксельной матрицы. Нейросетевой пайплайн обычно разделяет задачу на поиск текстовых зон (text regions) и последующее уточнение их направления.

Для первичного извлечения визуальных признаков в качестве базовых магистральных сетей (backbone) используются архитектуры ResNet или легковесные модели вроде MobileNetV3 Small, оптимизированные для быстрой обработки без избыточных вычислительных затрат. Поскольку на одном документе могут одновременно присутствовать и крупный заголовок, и мелкий шрифт в сносках, базовые сети дополняются архитектурой FPN. Она объединяет карты признаков разных уровней, позволяя одинаково точно находить текстовые блоки любого масштаба.

Сама локализация text regions выполняется двумя основными путями. В двухэтапных детекторах используется модуль RPN, который генерирует множество кандидатов на наличие текста, после чего архитектуры класса Mask R-CNN уточняют границы каждого блока и строят точную пиксельную маску строки. Такая попиксельная сегментация на базе FCN и Mask R-CNN необходима для работы с изогнутым или перспективно искаженным текстом, где простая прямоугольная рамка не способна повторить форму строки.

Ниже приведено сравнение классических и нейросетевых подходов по принципу обработки данных и применимости к разным типам документов:

Классификатор переворота строки и агрегация результатов

После того как детектор выделил на изображении отдельные text regions и выровнял их по горизонтали, остается задача проверки текста на переворот. Матрица вырезанного фрагмента может быть повернута на 0° или 180°. Для решения этой бинарной задачи применяется отдельный компактный классификатор переворота строки, часто построенный на базе MobileNetV3 Small. Он принимает на вход вырезанный фрагмент одной строки и с высокой скоростью определяет, нужно ли развернуть этот конкретный участок на 180° для нормального чтения.

На финальном этапе анализа страницы вступает в работу алгоритм агрегации результатов по отдельным блокам. На реальном документе могут одновременно находиться десятки строк, часть из которых расположена нестандартно: например, вертикальный штамп инвентарного номера на полях, боковая подпись к чертежу или шум, ошибочно принятый за короткое слово. Чтобы единичные отклонения не испортили общую оценку страницы, алгоритм агрегации собирает значения углов и направления со всех найденных фрагментов и вычисляет итоговую ориентацию документа.

При агрегации используется взвешенное голосование или статистическое усреднение с отсечением выбросов. Вклад каждого отдельного текстового блока в итоговый результат обычно пропорционален его площади или длине: длинные абзацы основного текста получают максимальный вес, а короткие изолированные надписи из двух-трех символов практически не влияют на выбор общей ориентации листа. Это позволяет безошибочно определить главный угол поворота документа даже при наличии разнонаправленных элементов верстки.

Влияние письменности и типа шрифта на детекцию направления

Точность вычисления угла наклона и проверки строки на переворот напрямую зависит от визуальной структуры самой письменности. Алгоритмы опираются на геометрические закономерности распределения пикселей внутри знаков, плотность штрихов и соотношение высоты строчных и прописных букв. Из-за фундаментальных различий в строении алфавитных, консонантных и идеографических систем письма логика определения положения строк существенно меняется в зависимости от языка документа.

Геометрия символов в разных системах письма

В основе анализа латиницы и кириллицы лежит выраженная асимметрия знаков относительно горизонтальной оси. Большинство строчных букв образуют плотный центральный пояс, над которым возвышаются верхние выносные элементы (например, у букв «б», «д», «b», «d», «k», «l»), а под ним - нижние выносные элементы («р», «у», «g», «p», «q»). В нормальном положении текста верхних выносных элементов статистически больше, а также присутствуют заглавные буквы. Кроме того, в кириллице и латинице нижние основания букв выстраиваются вдоль единой прямой - baseline, тогда как верхняя граница строки остается менее равномерной. Именно эта разница в плотности пикселей между верхней и нижней половинами строки дает возможность безошибочно отличить ориентацию 0° от переворота на 180°.

При анализе арабицы задача усложняется за счет вязи и направления чтения справа налево. Буквы в арабском письме соединяются между собой непрерывной горизонтальной связкой (кашидой), которая формирует очень четкую опорную линию, смещенную ближе к нижней трети строки. Над и под этой связкой располагаются многочисленные диакритические точки и огласовки. Детекция угла наклона для арабского текста часто показывает высокую стабильность благодаря непрерывности слитного письма, однако для проверки на переворот анализируется уже не частота выносных штрихов, а характерный изгиб конечных форм букв и распределение диакритических знаков относительно основной соединительной оси.

Идеографические и слоговые системы Восточной Азии - китайские иероглифы, японские кандзи и кана, а также корейский хангыль - имеют совершенно иную пространственную организацию. Каждый знак здесь вписан в условный квадрат одинакового размера (моноширинная структура) и не имеет верхних или нижних выносных элементов. В таких текстах отсутствует привычная асимметрия профиля строки: верхняя и нижняя границы текстового блока выглядят как две параллельные прямые с практически одинаковой плотностью заполнения. Для определения переворота иероглифической строки на 180° классические проекционные методы малоэффективны; задача решается путем распознавания внутренней структуры графем, где верхние элементы иероглифов обычно имеют более компактную компоновку, а нижние - опираются на широкие горизонтальные или расходящиеся штрихи.

Дополнительную сложность при анализе китайского, японского и корейского языков создает вариативность вектора верстки. В отличие от европейских документов, где вертикальный текст встречается преимущественно в заголовках, таблицах или штампах, в неалфавитных восточноазиатских языках традиционная вертикальная запись (сверху вниз, столбцы располагаются справа налево) является полноценным стандартом наравне с горизонтальной. Квадратная форма знаков позволяет одинаково легко объединять их как в горизонтальные ряды, так и в вертикальные колонки.

Если на странице расстояние между соседними иероглифами в строке почти равно расстоянию между самими строками, возникает геометрическая неоднозначность. В таких случаях направление чтения и ориентация блока вычисляются по двум признакам:

• Величина межсимвольных и межстрочных интервалов: расстояние между знаками внутри одной смысловой линии всегда меньше, чем отступ между соседними колонками или строками.
• Положение и ориентация знаков пунктуации: скобки, кавычки, тире и многоточия меняют свой поворот на 90° при переходе от горизонтальной верстки к вертикальной, а запятые и точки смещаются в правый нижний или внешний угол иероглифической клетки.

Ниже приведено сравнение геометрических особенностей различных систем письма, которые учитываются при вычислении угла наклона и направления чтения:

Печатный текст, сложные шрифты и рукописное письмо

Характер начертания знаков внутри одной и той же письменности напрямую влияет на то, насколько точно удается построить baseline и TCL. Наиболее точный результат достигается при многошрифтовом распознавании стандартного печатного текста (антиквенные шрифты с засечками и гротески без засечек). В типографском наборе высота букв, межбуквенный просвет и наклон штрихов строго типизированы. Засечки на концах букв в антиквенных гарнитурах даже упрощают задачу: они визуально подчеркивают нижнюю границу строки, формируя плотный горизонтальный контур на гистограмме или карте признаков.

Точность определения геометрии снижается при анализе декоративных, стилизованных или узких шрифтов, а также текста, набранного исключительно заглавными буквами (капителью). Когда в слове все буквы имеют одинаковую высоту, пропадает разница между основным поясом строки и выносными элементами. В такой ситуации для проверки переворота на 180° анализируется внутрибуквенная асимметрия: например, у букв «В», «Е», «К», «Р», «Б», «R», «S» верхняя петля или перекладина обычно уже или меньше нижней, а у букв «А», «Д», «Л», «V» точка схождения диагональных штрихов однозначно указывает на верх или низ строки.

Рукописное и курсивное письмо представляет собой наиболее сложный сценарий для геометрического анализа. В отличие от печатного набора, в рукописном тексте отсутствуют жесткие вертикальные и горизонтальные оси. При определении положения рукописных строк возникают три характерные проблемы:

• Собственный наклон почерка (slant): наклон вертикальных штрихов букв вправо или влево нередко принимается простыми алгоритмами за общий угол поворота всей строки, хотя сама строка идет строго горизонтально.
• Дрейф и нелинейность baseline: при письме на нелинованной бумаге строка редко остается прямой - она может плавно уходить вверх или вниз к концу страницы, изгибаться дугой или иметь ступенчатые перепады между соседними словами.
• Перекрытие соседних строк: длинные петли нижних выносных элементов верхней строки (например, у рукописных «у», «д», «з», «g», «y») часто пересекаются с верхними элементами нижней строки, что размывает границы при попытке разделить текст на отдельные горизонтальные полосы.

Для компенсации этих факторов в рукописных документах оценка наклона строится не по внешним границам ограничивающих рамок, которые сильно искажаются из-за размашистых петель и росчерков, а по центральной плотной части слов (TCL). Это дает возможность отделить индивидуальный наклон букв в почерке от реального угла поворота самого текстового блока на изображении.

Требования к исходным изображениям и факторы точности анализа

Точность выделения текстовых областей и вычисления их вектора напрямую зависит от физического способа получения цифрового оригинала и визуальных характеристик файла. Изображения делятся на две базовые категории: плоские сканы и фотографии документов, сделанные на камеру смартфона или фотоаппарата.

При работе с этими двумя типами исходных данных возникают принципиально разные условия для геометрического анализа:

Технические параметры изображения и визуальные артефакты

Даже при отсутствии оптических искажений камеры на детекцию текстовых линий влияет набор базовых растровых характеристик и дефектов предобработки.

Разрешение и параметр DPI определяют плотность пиксельной сетки, из которой формируются контуры букв. При слишком низком разрешении мелкий шрифт распадается на отдельные квадратные блоки: смыкаются внутренние просветы в буквах «о», «е», «а», а тонкие соединительные штрихи и засечки исчезают. Из-за потери верхних и нижних экстремумов символов ошибка при различении прямой (0°) и перевернутой (180°) строки возрастает. Избыточное разрешение, напротив, приводит к тому, что микронеровности краев печатного тонера или текстура бумажного волокна начинают восприниматься как значимые геометрические детали, перегружая анализ лишними контурами.

Яркость и контрастность отвечают за разделимость текста и подложки. Если скан слишком светлый или выцветший, штрихи букв прерываются. В результате единая строка распадается на разрозненные короткие фрагменты, по которым трудно провести общую линию без отклонений по углу. При завышенном контрасте или грубой бинаризации соседние символы слипаются в сплошные черные пятна, что мешает оценить плотность распределения штрихов внутри слова.

Существенное влияние на определение границ и ориентации оказывают специфические особенности верстки и кадрирования:

• Инвертированные участки: светлый текст на темном или черном фоне (выворотка в заголовках таблиц, на штампах, плашках и баннерах). Классические методы бинаризации, настроенные на поиск темных пикселей на белом листе, часто пропускают такие зоны или инвертируют градиенты границ. Это приводит к потере целых строк при анализе макета или неверному расчету центра масс символов.
• Плотный кроп: обрезка изображения вплотную к крайним буквам без оставления свободных полей (отступов) по периметру. Когда рамка кадра касается внешних штрихов первой или последней строки, нарушается контекстное окружение текстового блока. При анализе повернутого текста плотный кроп приводит к физическому срезанию углов ограничивающих рамок и кончиков выносных элементов, что смещает расчетную линию наклона.
• Фоновый шум: следы от дырокола, скоб степлера, чернильные кляксы, просвечивающий с обратной стороны листа текст (эффект пробивания печати), водяные знаки и защитные сетки на бланках. Крупные шумовые элементы на краях страницы могут быть ошибочно включены в состав текстовой строки, искусственно удлиняя ее и уводя вектор наклона в сторону артефакта.

Метрики оценки качества детекции и классификации

Для объективной проверки того, насколько точно найдены текстовые блоки и определено их направление, применяется система количественных показателей. Часть этих метрик возвращается непосредственно в процессе анализа конкретного файла, а другая часть используется при тестировании и валидации моделей на размеченных наборах данных.

Оценка уверенности (конфиденс распознавания / text score) - это числовой показатель (обычно в диапазоне от 0 до 1 или в процентах), который отражает вероятность корректного выполнения операции. В задачах анализа ориентации этот параметр применяется дважды: сначала оценивается уверенность в том, что выделенная область действительно содержит текст, а не шум или графику, а затем вычисляется степень уверенности при отнесении строки или всей страницы к конкретному классу поворота (0°, 90°, 180° или 270°). Низкий конфиденс сигнализирует о нечеткой геометрии, сильном зашумлении или нестандартном шрифте.

Метрика IoU определяет геометрическую точность локализации строки. Она рассчитывается как отношение площади пересечения найденной текстовой рамки и эталонной (реальной) рамки к площади их объединения. Чем ближе значение IoU к единице, тем точнее алгоритм повторил реальные габариты и угол наклона строки. Если угол поворота определен неверно хотя бы на несколько градусов, наклоненная рамка быстро смещается относительно реального текста, и показатель IoU резко падает.

На основе порогового значения IoU вычисляются три сводных статистических показателя качества работы алгоритма:

• Точность (precision): доля реально существующих и правильно сориентированных текстовых строк среди всех объектов, которые алгоритм пометил как текст. Высокая точность означает отсутствие ложных срабатываний на фоновый шум, линии таблиц, подписи или элементы оформления.
• Полнота (recall): доля найденных текстовых строк от общего количества всех строк, фактически присутствующих на документе. Низкая полнота указывает на то, что мелкие приписки, бледный текст или инвертированные блоки были пропущены.
• F-мера: гармоническое среднее между precision и recall. Этот показатель объединяет точность и полноту в единый сбалансированный коэффициент: он снижается как при пропуске реальных строк на странице, так и при избыточном захвате мусорных объектов.

Практическое применение результатов в пайплайнах обработки документов

В промышленных и пользовательских сценариях оцифровки параметры геометрии и направления текста не являются конечной целью сами по себе. Они служат управляющими метаданными, которые передаются дальше по цепочке обработки для трансформации изображения перед его отправкой на этап распознавания символов. Без предварительной нормализации положения строк алгоритмы OCR пытаются интерпретировать повернутые или наклоненные глифы в стандартной сетке координат, что приводит к полной потере связности текста или генерации бессмысленных наборов символов.

Подготовка данных для OCR-движков

Архитектура современных систем распознавания требует, чтобы на вход модуля чтения подавались строго горизонтальные (или строго вертикальные для соответствующих азиатских языков) выровненные участки строк. В программных пайплайнах проверка геометрии реализуется двумя путями: на уровне целой страницы или на уровне отдельных локализованных текстовых рамок.

Первый подход аналогичен логике работы режима OSD и функции Image_to_osd в движке Tesseract. На этом этапе анализируется весь документ целиком для получения глобального дискретного угла поворота (90°, 180° или 270°) и общего направления письма. Если метаданные показывают, что лист загружен вверх ногами или лежит на боку, конвейер применяет к матрице изображения соответствующий поворот без потерь перед запуском ресурсоемкого распознавания текста.

Второй подход применяется в модульных нейросетевых пайплайнах, примером которых служит архитектура с классификатором угла в PaddleOCR. Здесь обработка разделена на три последовательных шага:

• Детектор находит текстовые строки на оригинальном изображении и возвращает координаты их ограничивающих рамок с учетом текущего наклона.
• Каждая найденная область вырезается, выпрямляется с помощью перспективного или аффинного преобразования и проходит через классификатор угла, который проверяет, не перевернута ли конкретная строка на 180°.
• При обнаружении переворота вырезанный фрагмент разворачивается в нормальное положение и только после этого передается в модуль распознавания символов.

Такое разделение задач позволяет корректно обрабатывать сложные документы со смешанной версткой: например, чертежи с вертикальными размерными надписями, таблицы с боковыми заголовками или бланки, где штамп поставлен вверх ногами относительно основного текста.

Автоматизация потоковой оцифровки архивов

При массовом сканировании бумажных архивов, бухгалтерской первичной документации или библиотечных фондов участие оператора в проверке каждого файла исключено из-за объемов данных. Бумажные листы часто попадают в автоподатчик сканера неровно, перевернутыми на 180° или в смешанной ориентации (книжные страницы вперемешку с альбомными таблицами). Результаты анализа положения строк используются в таких конвейерах для автоматической маршрутизации и предпечатной коррекции файлов.

В зависимости от полученных геометрических параметров и оценки уверенности настраиваются правила обработки потока изображений:

Компенсация перекоса и выравнивание макета

Передача вычисленного угла наклона (skew) в графический обработчик позволяет выполнить операцию автоматического выравнивания страницы до того, как начнется сегментация макета на колонки, таблицы и абзацы. Даже небольшой наклон в 2-3 градуса разрушает логику анализаторов структуры документа: строки из соседних колонок начинают пересекаться по горизонтальной проекции, а границы ячеек таблиц перестают совпадать с осями координат.

Зная точный угол наклона базовых линий текста, внешний скрипт или модуль предобработки поворачивает изображение на ту же величину в противоположную сторону. После такой геометрической коррекции текстовые строки выстраиваются параллельно краям файла, что снижает количество ошибок при поиске границ слов и повышает итоговую точность извлечения данных в учетные системы или поисковые индексы.