Детальная информация

Данная работа посвящена созданию приложения для оптического распознавания японского текста. Предлагается использование системы с одним декодером, который является большой языковой моделью. Исследуются возможные аналоги приложения, а также различные способы распознавания текста. Производится подготовка данных и тренировка модели. Также эта модель интегрируется в приложение с графическим интерфейсом, где в совокупности с алгоритмом нахождения распознанных слов в заранее определенных словарях, выполняется перевод слов и поиск определений. Результатом является приложение с клиент-серверной архитектурой, которое позволяет находить японские слова с помощью оптического распознавания и находить их определения с помощью запросов на сервер.

The given work is dedicated to creating an application for optical character recognition of japanese text. The optical character recognition was performed by a system with a single large language model used as a decoder. Various possible analogues for the application as well as methods for optical character recognition were researched. Then, data preparation and model training were performed. Finally, the resulting model was integrated into an app with a GUI where, combined with an algorithm that searched for recognized words in preloaded dictionaries, it performed text translation as well as searched for definitions of requested words. The work resulted in an application with client-server architecture that allows users to perform optical character recognition of japanese text and to subsequently search for their definitions through requests to the server.

• 1. Изучение приложений аналогов и методов оптического распознавания текста
  • 1.1. Изучение приложений-аналогов
    • 1.1.1. Критерии оценки и выбора приложений аналогов
    • 1.1.2. Yomitan
    • 1.1.3. KanjiTomo
  • 1.2. Исследование и сравнение различных методов оптического распознавания текста
    • 1.2.1. Основные методы оптического распознавания текста
    • 1.2.2. Архитектуры нейронных сетей используемые для оптического распознавания текста
    • 1.2.3. Сравнение и анализ нейронных сетей для оптического распознавания текста
• 2. Разработка и тестирование модели оптического распознавания текста
  • 2.1. Архитектура модели оптического распознавания текста
    • 2.1.1. Общая информация о выбранной архитектуры
    • 2.1.2. Наша реализация модели, ее отличия от оригинала
  • 2.2. Набор данных для обучения модели
    • 2.2.1. Данные оригинального исследования
    • 2.2.2. Данные для обучения модели и препроцессинг
  • 2.3. Анализ результатов модели
    • 2.3.1. Процесс обучения
    • 2.3.2. Результаты обучения модели
• 3. Сервер
  • 3.1. Архитектура приложения и общая информация о реализации сервера
    • 3.1.1. Архитектура приложения и требования к серверу
    • 3.1.2. Фреймворк и библиотеки используемые для создания сервера
  • 3.2. Словари и алгоритм поиска
    • 3.2.1. Словари и обработка данных
    • 3.2.2. Дерево Ахо-Корасика
    • 3.2.3. Алгоритм поиска определений
  • 3.3. RESTful API и схема
    • 3.3.1. Схема базы данных
    • 3.3.2. API запросы и авторизация
• 4. Клиент
  • 4.1. Библиотеки и окружение
    • 4.1.1. Kotlin и Compose Multiplatform
    • 4.1.2. Побочные библиотеки
  • 4.2. Графическая часть и основная логика приложения
    • 4.2.1. Figma макет
    • 4.2.2. Графическая часть. Экраны приложения и базовый функционал.
    • 4.2.3. Навигация и логика
  • 4.3. Скриншоты и оптическое распознавание
    • 4.3.1. Десктопная реализация
    • 4.3.2. Служба на андроид
    • 4.3.3. Применение приложения на практике