Тема выпускной квалификационной работы: «Количественный анализ рекуррентности просодических характеристик речевого сигнала в системах обучения произношению». Изучение иностранного языка является сложной задачей с точки зрения как ученика, так и преподавателя. В сфере компьютерных систем обучения произношению (computer-assisted pronunciation training, CAPT), предназначенных для изучения над­сегментных явлений таких как ритм, высота тона и фразовая ин­тонация, существует много нерешенных задач. Одной из проблем является предоставление учащемуся объективных метрик, основан­ных на оценке точности воспроизведения интонации. В данной работе в CAPT системе StudyIntonation решается за­дача оценки сходства интонационных контуров модели и учащего­ся. Для этого изучен и применен количественный анализ рекуррент­ности (RQA), который вводит количественные метрики, учитыва­ющие нелинейную природу речи. На основе набора заданий, выполненных пользователями при работе с системой StudyIntonation, создан датасет с вычисленными метриками RQA; обучен классифи­катор, определяющий соответствие двух интонационных контуров. По выходному значению классификатора принимается решение об успешности выполнения задания. Расчет метрик, а также класси­фикатор интегрированы в ядро StudyIntonation.

The subject of the graduate qualification work is «Recurrence quantification analysis of prosodic characteristics of a speech signal in computer-assisted pronunciation training systems». Learning a foreign language is a difficult task from the point of view of both the student and the teacher. In the modern world, computer-assisted pronunciation training (CAPT) systems are actively appearing. They are aimed at working with segment and super-segment language means. There are many unsolved problems in the realm of CAPT systems, designed to study super-segmental phenomena such as rhythm, pitch, and phrasal intonation. One of the challenges is providing the student with objective metrics based on assessing the accuracy of intonation contour. In this work, author solves the problem of assessing the intonation contours similarity in the StudyIntonation CAPT system. Recurrence quantification analysis (RQA) has been studied and applied for this problem. This approach introduces quantitative metrics that consider the non-linear speech nature. A dataset based on a set of tasks completed by StudyIntonation users was created. The dataset contains calculated RQA metrics for each user attempt and is used to train a binary classifier that determines two intonation contours similarity. Based on the output value of the classifier, a decision is made on the success of the task by the user. The calculation of metrics, as well as the classifier, are integrated into the core of StudyIntonation, which allows to use new features in this CAPT system.

• ВВЕДЕНИЕ
• 1. Развитие компьютерных систем обучения произношению
  • 1.1. Предметная область и основные функции CAPT систем
  • 1.2. Обзор современных компьютерных систем обучению произношению
  • 1.3. Вычисление характеристик произношения в предположении о нелинейности речевого сигнала
  • 1.4. Приложение изучения интонации StudyIntonation. Постановка задачи
• 2. Теоретические основы количественного анализа рекуррентности
  • 2.1. Фазовое пространство сигнала
  • 2.2. График рекуррентности
  • 2.3. Метрики количественного анализа рекуррентности
  • 2.4. Количественный анализ кросс-рекуррентности
• 3. Подготовка и разметка датасета с вычисленными метриками CRQA
  • 3.1. Подготовка датасета
  • 3.2. Разметка датасета
    • 3.2.1. Приложение разметки
    • 3.2.2. Подбор параметров количественного анализа кросс-рекуррентности
• 4. Обучение классификатора для определения соответствия интонационных контуров
  • 4.1. Обработка данных, подготовленных для обучения
  • 4.2. Выбор типа и обучение классификатора
• 5. Интеграция классификатора в ядро приложения StudyIntonation
  • 5.1. Разработка функций вычисления метрик количественного анализа кросс-рекуррентности
  • 5.2. Интеграция логистической регрессии в ядро приложения StudyIntonation
• ЗАКЛЮЧЕНИЕ
• СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
• ПРИЛОЖЕНИЕ. ЛИСТИНГИ