В работе рассмотрена задача распознавания символов шрифта Брайля на изображениях; предложен способ улучшения качества работы алгоритмов ма­шинного обучения, решающих эту задачу, основанный на использовании боль­ших объёмов фотографий без аннотаций. Задачи, решённые в рамках исследования: 1. Изучение проблемы распознавания шрифта Брайля, существующих методов решения и наборов данных. 2. Разработка схемы улучшения алгоритма машинного обучения, уже обученного на данных с аннотациями, с помощью данных без аннотаций. 3. Сбор данных – фотографий текста, напечатанного шрифтом Брайля. 4. Применение разработанной схемы и полученных данных к одному из известных ранее алгоритмов распознавания, а также оценка эффективности этой схемы. В работе используется и дорабатывается программа распознавания Angelina Braille Reader, основанная на нейронной сети RetinaNet (изначально обученной на размеченном наборе из 300 фотографий). Разработан и реализован на языке Python3 алгоритм исправления меток, полученных в результате распознавания печатных изданий, с помощью выравнивания распознанного текста и исходного электронного текста издания. Получен набор данных (1731 фотография), к которому применён созданный алгоритм. Как показал эксперимент, исправление меток позволяет дообучить нейронную сеть на новых данных, улучшив распознавание печатного текста. Спроектированный метод может быть применён к любому алгоритму распознавания шрифта Брайля, основанному на машинном обучении. Производимые при этом выравнивания текстов позволяют провести статистический анализ ошибок распознавания.

This study explores the problem of image-based Braille recognition; a data-driven approach is proposed to improve existing machine learning algorithms that solve this problem. The aforementioned approach utilizes large amounts of unlabeled pictures with printed Braille and their source texts, aligning the original and recognized text. During the elaboration of the problem, the following tasks were completed: 1. Studying the problem of optical Braille recognition, existing approaches and data sets. 2. Development of a scheme for improving a machine learning algorithm, pre-trained on labeled data, using unlabeled data. 3. Collecting photos of text printed in Braille. 4. Application of the developed scheme along with collected data to one of the existing recognition algorithms; scheme evaluation. In this work, a program for optical Braille recognition named ”Angelina Braille Reader”, which is based on RetinaNet architecture and initially trained on 300 labeled pictures, is used and modified. An algorithm for correcting labels based on alignment of recognized and original text is developed and implemented. A data set of 1,731 photos has been created, to which the algorithm has been applied. As demonstrated experimentally, correcting labels allows additional training of the neural net on new data which leads to an improvement in the recognition of printed Braille. The developed technique may be applied to any optical Braille recognition algorithm based on machine learning. The alignments made in this process allow a statistical analysis of algorithm errors to be performed.

• Введение
• Задача распознавания символов Брайля
  • Общая постановка задачи и особенности рельефно-точечного шрифта
  • Обзор существующих решений
    • Подходы к распознаванию
    • Наборы данных
  • Цели и задачи настоящей работы
• Метод полуконтролируемого обучения с автоматическим исправлением ошибок
  • Предварительная обработка текста
  • Построение выравнивания
    • Поиск регионов интереса. Хэширование
    • Оптимальное выравнивание. Алгоритм Нидлмана-Вунша
  • Исправление ошибок после выравнивания
  • Полуконтролируемое обучение
• Собранные данные и разработанный программный продукт
  • Полученный набор данных
  • Программный продукт
• Вычислительные эксперименты
  • Предобработка данных и выравнивание
  • Обучение нейронной сети
  • Результаты полуконтролируемого обучения
  • Анализ типичных ошибок распознавания
• Заключение
• Список использованных источников
• Приложение 1. Дополнительные иллюстрации
• Приложение 2. Результаты подсчёта числа заменах букв в выравнивании