Details

Title: Разработка системы распознавания жестов жестового языка по видеоизображению: выпускная квалификационная работа бакалавра: направление 02.03.02 «Фундаментальная информатика и информационные технологии» ; образовательная программа 02.03.02_02 «Информатика и компьютерные науки»
Creators: Коломеец Мария Владимировна
Scientific adviser: Тимофеев Дмитрий Андреевич
Other creators: Трифонов Петр Владимирович
Organization: Санкт-Петербургский политехнический университет Петра Великого. Институт компьютерных наук и технологий
Imprint: Санкт-Петербург, 2020
Collection: Выпускные квалификационные работы; Общая коллекция
Subjects: американский жестовой язык; машинное обучение; глубокое обучение; сверточные нейронные сети; плотный оптический поток; american sign language; machine learning; deep learning; convolutional neural networks; dense optical flow
Document type: Bachelor graduation qualification work
File type: PDF
Language: Russian
Speciality code (FGOS): 02.03.02
Speciality group (FGOS): 020000 - Компьютерные и информационные науки
Links: Отзыв руководителя; Отчет о проверке на объем и корректность внешних заимствований
DOI: 10.18720/SPBPU/3/2020/vr/vr20-2582
Rights: Доступ по паролю из сети Интернет (чтение)

Allowed Actions:

Action 'Read' will be available if you login or access site from another network

Group: Anonymous

Network: Internet

Annotation

Данная работа посвящена разработке системы распознавания подмножества статических и динамических жестов американского жестового языка. Для решения этой задачи предлагается использовать модель на основе сверточных нейронных сетей. Для обучения модели используются наборы данных NCSLGR [1] и WLASL [2] для динамических и статических жестов соответственно. Для распознавания жестов входной поток кадров был преобразован в оптический поток с цветовой моделью. Для реализации всех необходимых методов и алгоритмов были использованы библиотеки TensorFlow, Keras, OpenCV, scikit-learn. Эта работа относится к сфере глубокого обучения и компьютерного зрения. В первой главе приводится сравнительный анализ существующих систем распознавания жестов жестового языка, а также анализ основных недостатков существующих решений. Были сформулированы основные требования к разрабатываемой системе. Во второй главе описываются основные теоретические знания, которые необходимы для успешного написания программы распознавания жестов. В третьей главе описывается разработка решения для распознавания жестов американского жестового языка, архитектура программы и ее реализация. В четвертой главе приведены эксперименты, демонстрирующие точность приведенного решения, и демонстрация работы программного решения. Результат работы – программа, распознающая подмножество динамических и статических жестов американского жестового языка. Точность распознавания 97%.

The primary objective of this work is to create a recognition system for a subset of static and dynamic gestures of the American sign language. To solve this problem, I proposed to use a model based on convolutional neural networks. The experimental results carried on two well-known datasets – NCSLGR Corpus [1] and WLASL [2]. As a pre-processing step the input stream of the frames was converted into a color-coded optical flow. To implement all the methods and algorithms TensorFlow, Keras, OpenCV, scikit-learn libraries were used. This work belongs to the field of deep learning and computer vision. The first chapter provides a related work, comparative analysis of existing sign language recognition systems, as well as an analysis of the main disadvantages of existing solutions. Also, requirements were formulated in this chapter. The second chapter describes the basic theoretical knowledge that is needed to successfully develop a gesture recognition system. The third chapter describes the development of a solution for recognizing American sign language, the architecture of the program and its implementation. The fourth chapter contains experiments demonstrating the accuracy of the solution and demonstrates how the solution works. The result of the work is a program that recognizes a subset of the dynamic and static gestures of the American sign language. Recognition accuracy is 97%.

Document access rights

Network User group Action
ILC SPbPU Local Network All Read
Internet Authorized users SPbPU Read
Internet Authorized users (not from SPbPU)
-> Internet Anonymous

Usage statistics

stat Access count: 4
Last 30 days: 3
Detailed usage statistics