Details

Русский жестовый язык является основным средством общения для бо-лее чем 240 тысяч человек в России. Однако коммуникационный барьер между слышащими и неслышащими людьми остается серьезной социальной проблемой. Существующие решения для перевода жестового языка преимущественно реализованы в виде настольных приложений, что ограничивает их использование в повседневной жизни. Данная работа посвящена созданию мобильного приложения для распознавания жестов русского жестового языка в режиме реального времени. Задачи, которые решались в ходе разработки: 1) Анализ особенностей русского жестового языка и существующих решений для его распознавания; 2) Проектирование клиент-серверной архитектуры системы распознавания жестов; 3) Разработка мобильного приложения с функциями захвата видео, детекции ключевых точек рук и визуализации результатов; 4) Реализация серверной части для обработки данных и распознавания жестов с помощью нейронных сетей; 5) Обучение и сравнение различных архитектур нейронных сетей (LSTM, GRU, 3D CNN) для выбора оптимального решения; 6) Тестирование системы на реальных устройствах и оценка производительности. В результате работы создано полнофункциональное мобильное приложение, способное распознавать 30 жестов РЖЯ с точностью 98.53% при использовании LSTM-модели.

Russian Sign Language is the primary means of communication for more than 240,000 people in Russia. However, the communication barrier between hearing and deaf people remains a serious social problem. Existing solutions for sign language translation are predominantly implemented as desktop applications, which limit their use in everyday life. This work is devoted to creating a mobile application for recognizing Russian Sign Language gestures in real time. Tasks solved during development: 1) Analysis of Russian Sign Language features and existing solutions for its recognition. 2) Design of client-server architecture for gesture recognition system. 3) Development of a mobile application with video capture, hand key point detection and visualization functions. 4) Implementation of server-side for data processing and gesture recognition using neural networks. 5) Training and comparison of different neural network architectures (LSTM, GRU, 3D CNN) to select the optimal solution. 6) Testing the system on real devices and performance evaluation. As a result of the work, a fully functional mobile application was created, capable of recognizing 30 RSL gestures with 98.53% accuracy using the LSTM model.