Данная работа посвящена разработке системы распознавания подмножества статических и динамических жестов американского жестового языка. Для решения этой задачи предлагается использовать модель на основе сверточных нейронных сетей. Для обучения модели используются наборы данных NCSLGR [1] и WLASL [2] для динамических и статических жестов соответственно. Для распознавания жестов входной поток кадров был преобразован в оптический поток с цветовой моделью. Для реализации всех необходимых методов и алгоритмов были использованы библиотеки TensorFlow, Keras, OpenCV, scikit-learn. Эта работа относится к сфере глубокого обучения и компьютерного зрения. В первой главе приводится сравнительный анализ существующих систем распознавания жестов жестового языка, а также анализ основных недостатков существующих решений. Были сформулированы основные требования к разрабатываемой системе. Во второй главе описываются основные теоретические знания, которые необходимы для успешного написания программы распознавания жестов. В третьей главе описывается разработка решения для распознавания жестов американского жестового языка, архитектура программы и ее реализация. В четвертой главе приведены эксперименты, демонстрирующие точность приведенного решения, и демонстрация работы программного решения. Результат работы – программа, распознающая подмножество динамических и статических жестов американского жестового языка. Точность распознавания 97%.

The primary objective of this work is to create a recognition system for a subset of static and dynamic gestures of the American sign language. To solve this problem, I proposed to use a model based on convolutional neural networks. The experimental results carried on two well-known datasets – NCSLGR Corpus [1] and WLASL [2]. As a pre-processing step the input stream of the frames was converted into a color-coded optical flow. To implement all the methods and algorithms TensorFlow, Keras, OpenCV, scikit-learn libraries were used. This work belongs to the field of deep learning and computer vision. The first chapter provides a related work, comparative analysis of existing sign language recognition systems, as well as an analysis of the main disadvantages of existing solutions. Also, requirements were formulated in this chapter. The second chapter describes the basic theoretical knowledge that is needed to successfully develop a gesture recognition system. The third chapter describes the development of a solution for recognizing American sign language, the architecture of the program and its implementation. The fourth chapter contains experiments demonstrating the accuracy of the solution and demonstrates how the solution works. The result of the work is a program that recognizes a subset of the dynamic and static gestures of the American sign language. Recognition accuracy is 97%.