Детальная информация

В современном мире пользователи смартфонов создают бесчисленное количество снимков экрана, содержащих важную информацию, однако существует слишком мало доступных инструментов для эффективного поиска этой информации и взаимодействия с содержимым этих снимков экрана. Существующие решения либо ограничены конкретными устройствами, либо требуют передачи данных в облако, что создаёт риски для конфиденциальности данных. Развитие технологий машинного обучения и встроенного искусственного интеллекта открывает возможности для создания интеллектуальных систем анализа непосредственно на мобильных устройствах. Задачи, которые решались в ходе разработки: 1. Анализ существующих решений и технологий машинного обучения для анализа изображений 2. Проектирование архитектуры системы автоматического мониторинга и обработки снимков экрана 3. Разработка модулей оптического распознавания символов, извлечения именованных сущностей и генеративного искусственного интеллекта для семантического анализа снимков экрана 4. Разработка пользовательского интерфейса с функциями поиска и интерактивного взаимодействия 5. Тестирование производительности на устройствах различных классов В результате выполнения работы было создано современное приложение с автоматическим мониторингом и анализом снимков экрана, интеграцией трех типов моделей машинного обучения и системой управления моделями. Исходный код проекта доступен по ссылке: https://github.com/argraur/Screensense.

In the modern world, smartphone users create countless screenshots containing important information, however, there are too few available tools for efficient search of this information and interaction with the content of these screenshots. Existing solutions are either limited to specific devices or require cloud synchronization, which creates privacy risks. The development of machine learning technologies and embedded artificial intelligence opens up opportunities for creation of intelligent analysis systems directly on mobile devices. Tasks solved during development: 1. Analysis of existing solutions and machine learning technologies for image analysis 2. Architecting the system of automatic monitoring and processing of screenshots 3. Development of optical character recognition, named entity extraction and generative artificial intelligence modules for semantic analysis of screenshots 4. Development of user interface with search and interaction functionalities 5. Performance testing on devices of various classes As a result of this work, a modern application was created with automatic monitoring and analysis of screenshots, integration of three types of machine learning models and a model management system. Project source code is available at: https://github.com/argraur/Screensense.

• СПИСОК УСЛОВНЫХ ОБОЗНАЧЕНИЙ И СОКРАЩЕНИЙ
• ВВЕДЕНИЕ
• ГЛАВА 1. ОБЗОР ПРЕДМЕТНОЙ ОБЛАСТИ
  • Обзор существующих решений
  • Технологии машинного обучения для анализа изображений
    • Оптическое распознавание символов
    • Мультимодальные генеративные модели
    • Извлечение сущностей из текста
• ГЛАВА 2. ТЕХНИЧЕСКОЕ ЗАДАНИЕ
  • Технологический стек
    • Выбор операционной системы
    • Выбор языка программирования
    • Выбор среды разработки
    • Выбор системы сборки
    • Выбор фреймворка описания интерфейса
  • Постановка задачи
  • Функциональные требования
    • Автоматическое обнаружение и анализ снимков экрана
    • Извлечение и индексация текстовой информации
    • Интеллектуальный поиск и фильтрация
  • Нефункциональные требования
    • Требования к совместимости
    • Требования к безопасности и конфиденциальности
  • Требования к интерфейсу
    • Требования к пользовательскому интерфейсу
  • Ограничения и допущения
    • Ограничения используемых моделей машинного обучения
    • Допущения о характере обрабатываемых данных
    • Технические ограничения
• ГЛАВА 3. ПРОЕКТИРОВАНИЕ СИСТЕМЫ
  • Нефункциональные решения
  • Архитектура приложения
    • Выбор архитектурного подхода
    • Модульная структура приложения
    • Взаимодействие между слоями
  • Проектирование компонентов системы
    • Структуры данных бизнес-логики
    • Система мониторинга снимков экрана
    • Модуль обработки изображений
    • Cистема управления моделями
  • Проектирование базы данных
    • Сущности базы данных
    • Схема базы данных
• ГЛАВА 4. РАЗРАБОТКА СИСТЕМЫ
  • Реализация основных модулей
    • Работа с данными
    • Сервис мониторинга снимков экрана
    • Процессор обработки изображений
    • Менеджер загрузки и управления моделями
  • Интеграция технологий машинного обучения
    • Реализация оптического распознавания символов
    • Интеграция генеративного искусственного интеллекта
    • Извлечение сущностей и аннотирование
  • Разработка пользовательского интерфейса
    • Разработка системы навигации
    • Главный экран
    • Экран отображения снимка экрана
• ГЛАВА 5. ТЕСТИРОВАНИЕ СИСТЕМЫ
  • Проверка работоспособности на разных устройствах
  • Оценка быстродействия методов машинного обучения на разных устройствах
• ЗАКЛЮЧЕНИЕ
• СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
• ПРИЛОЖЕНИЯ
  • Приложение 1. Полное описание ScreenshotRepositoryImpl
  • Приложение 2. Полное описание MetadataRepositoryImpl
  • Приложение 3. Полное описание ScreenshotMonitorService
  • Приложение 4. Полное описание ScreenshotProcessor
  • Приложение 5. Полное описание ModelManager
  • Приложение 6. Полное описание ModelDownloadService
  • Приложение 7. Полное описание MediaPipeVisualEngine
  • Приложение 8. Полное описание EntityExtractionEngine
  • Приложение 9. Полное описание ScreensenseNavHost
  • Приложение 10. Полное описание MainViewModel
  • Приложение 11. Полное описание ScreenshotViewViewModel
  • Приложение 12. Полное описание ScreenshotProcessingService