Details

В данной работе рассмотрены задачи и архитектуры существующих мобильных ассистивных систем для незрячих пользователей, методы детекции и распознавания текста в естественных сценах, а также подходы к контекстному анализу сцены и фильтрации информации. Разработана математическая модель оценки релевантности текстовых фрагментов и алгоритм принятия решения об озвучивании. Спроектирован и реализован программный прототип системы, интегрирующий модули оптического распознавания символов, детекции объектов, классификации сцены и трекинга текстовых областей. Разработаны и сравнены два метода автоматического подбора весовых коэффициентов скоринговой функции. Проведено экспериментальное исследование на валидационной выборке видеосегментов, выполнена статистическая обработка результатов и подтверждена эффективность разработанного метода по сравнению с ручной настройкой весов.

This graduate qualification work examines the tasks and architectures of existing mobile assistive systems for blind users, methods for text detection and recognition in natural scenes, and approaches to scene context analysis and information filtering. A mathematical model for evaluating the relevance of text fragments and a decision-making algorithm for text-to-speech output were developed. A software prototype integrating modules for optical character recognition, object detection, scene classification, and text region tracking was designed and implemented. Two methods for automatic weight coefficient optimization of the scoring function were developed and compared. An experimental study was conducted on a validation dataset of video segments, statistical analysis of the results was performed, and the effectiveness of the proposed method was confirmed in comparison with manual weight tuning.