Details

Тема выпускной квалификационной работы: «Разработка программного модуля для перевода русского жестового языка в текст». Рассматривается задача автоматического распознавания жестов русского жестового языка по видеопотоку с последующим преобразованием в текст в режиме реального времени на стандартном CPU. Проведен анализ существующих методов и решений в области распознавания жестового языка; обоснован выбор landmarks-подхода на основе библиотеки MediaPipe HandLandmarker и архитектуры двунаправленного LSTM с механизмом временно́го внимания (SlovoLSTM, 1 080 809 параметров). Система реализована в виде клиент-серверного приложения с WebSocket-транспортом: клиент выполняет захват видео и извлечение ключевых точек рук, микросервис на FastAPI осуществляет нейросетевой инференс с адаптивной буферизацией и EMA-сглаживанием, браузерный дашборд отображает результаты в реальном времени. Модель обучена на датасете Slovo (20 400 видеозаписей, 1000 классов РЖЯ) с применением MixUp, OneCycleLR и early stopping. На тестовой выборке достигнуты Top-1 accuracy 41.26%, Top-5 accuracy 71.20%, F1-мера 0.40; задержка инференса на CPU составила 11 мс (FPS ≈ 91). Система распространяется в виде Docker-контейнера с открытым исходным кодом.

The subject of the graduate qualification work is "Development of a Software Module for Russian Sign Language to Text Translation". The work addresses automatic recognition of Russian Sign Language gestures from a video stream and their real-time conversion to text on a standard CPU without specialized accelerators. An analysis of existing methods and software solutions for sign language recognition was conducted; the landmarks-based approach using the MediaPipe HandLandmarker library and a bidirectional LSTM architecture with a temporal attention mechanism (SlovoLSTM, 1 080 809 parameters) were selected and justified. The system is implemented as a client-server application with WebSocket transport: the client captures video and extracts hand landmarks, the FastAPI microservice performs neural inference with adaptive buffering and EMA smoothing, and a browser dashboard displays results in real time. The model was trained on the Slovo dataset (20,400 video recordings, 1,000 RSL gesture classes) using MixUp augmentation, OneCycleLR scheduling, and early stopping. On the test set, Top-1 accuracy of 41.26%, Top-5 accuracy of 71.20%, and F1-score of 0.40 were achieved; CPU inference latency averaged 11 ms (FPS ≈ 91). The system is distributed as a Docker container with open-source code.