Детальная информация

В данной работе описано создание программного обеспечения для распознавания жестов одной руки в режиме реального времени с использованием методов компьютерного зрения и машинного обучения. Объектом исследования являются технологии обработки изображений и видео, алгоритмы извлечения ключевых признаков с помощью библиотеки MediaPipe, а также методы классификации временных последовательностей с использованием нейронных сетей, в частности рекуррентных моделей LSTM. Целью разработки является создание устойчивой и кроссплатформенной системы, способной интерпретировать жесты пользователя и переводить их в текстовую форму. В процессе выполнения проекта был проведён обзор существующих решений в области жестового ввода, а также библиотек и инструментов, применяемых для захвата и анализа изображения с камеры. Были изучены особенности реализации моделей, распознающих как статические, так и динамические жесты, в условиях ограниченного объёма обучающих данных. Создан набор модулей, включающих средства сбора изображений, разметки данных, формирования обучающей выборки, тренировки модели и вывода предсказаний. Для удобства пользователя реализован графический интерфейс на базе Tkinter, позволяющий взаимодействовать с системой без необходимости работать с кодом. Работа системы протестирована на различных жестах, классификация которых осуществляется на основе анализа координат ключевых точек ладони и их изменений во времени. Полученные результаты подтверждают работоспособность предложенного подхода и демонстрируют возможность дальнейшего расширения системы для поддержки полноценного перевода жестового языка.

This work presents the development of software for real-time recognition of one-hand gestures using computer vision and machine learning methods. The object of the study includes image and video processing technologies, keypoint extraction algorithms using the MediaPipe library, and classification of temporal sequences with neural networks, particularly recurrent LSTM models. The main goal of the project is to create a stable and cross-platform system capable of interpreting user gestures and converting them into text. During the project, a review of existing solutions in the field of gesture input was carried out, as well as an analysis of libraries and tools used for capturing and analyzing camera images. The implementation details of models capable of recognizing both static and dynamic gestures were studied, taking into account the limitations of available training data. A set of modules was developed, including tools for image collection, data annotation, dataset creation, model training, and prediction output. For user convenience, a graphical interface based on Tkinter was implemented, allowing interaction with the system without requiring access to the source code. The system’s performance was tested on various gestures, with classification based on the analysis of hand keypoint coordinates and their temporal dynamics. The results confirm the effectiveness of the proposed approach and demonstrate the potential for further development of the system to support full sign language translation.

• СОЗДАНИЕ ПРОГРАММЫ ДЛЯ ПЕРЕВОДА ЯЗЫКА ЖЕСТОВ В ТЕКСТ В РЕАЛЬНОМ ВРЕМЕНИ
  • ВВЕДЕНИЕ
  • 1. Введение в проблему автоматического распознавания жестового языка
  • 2. Проектирование системы распознавания жестов
  • 3. Реализация программной составляющей системы
  • 4. Тестирование и апробация программы
  • ЗАКЛЮЧЕНИЕ
  • СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
  • ПРИЛОЖЕНИЕ 1. КОД ПРОГРАММЫ