Details

Бакалаврская работа посвящена исследованию возможности реализации и разработке прототипа программно-аппаратного комплекса для автоматической транскрипции речи в реальном времени. Данная работа выполнялась на основе аппаратной платформе системы на программируемом кристалле Xilinx Zynq 7010. В ходе работы была осуществлена попытка реализации E2E-распознавания речи с использованием технологий глубокого машинного обучения и разработки искусственных нейронных сетей. Был проанализирован ряд наиболее распространенных средств аппаратной реализации данных технологий на элементной базе ПЛИС. На основе информации, полученной в ходе исследования, сформулированы рекомендации для дальнейших разработок в данной области.

The purpose of this paper is to asses the possibility of the development of unified hardware and software system for real-time speech recognition and to create a prototype of such system if possible. Research presented here was done using Xilinx Zynq 7010 SoC. The paper presents an attempt to create E2E speech recognition system utilizing deep machine learning technology and artificial neural networks. A selection of most used tools for hardware neural network design on FPGAs was analysed. Recommendations for future development were made based on information gathered during this research.

• титул.pdf
• thesis.pdf
  • СПИСОК ОБОЗНАЧЕНИЙ И СОКРАЩЕНИЙ
  • ВВЕДЕНИЕ
  • 1. Обзор существующих технологий и решений
    • 1.1. Транскрипция как подзадача автоматического распознавания речи
    • 1.2. Структура системы автоматического распознавания речи
      • 1.2.1. Выделение характеристик сигнала
      • 1.2.2. Речевое моделирование
    • 1.3. Использование технологий искусственного интеллекта дляавтоматического распознавания речи
    • 1.4. Обзор аппаратных реализаций систем распознавания речи
  • 2. Проектирование системы транскрипции речи
    • 2.1. Выбор аппаратной платформы
    • 2.2. Метрики оценки качества распознавания речи
    • 2.3. Разработка требований к системе
    • 2.4. Проектирование архитектуры системы
    • 2.5. Выбор модели нейронной сети и ее тестирование
      • 2.5.1. Нейронная сеть Moonshine
      • 2.5.2. Тестирование нейронной сети Moonshine
  • 3. Разработка прототипа аппаратной части системы транскрипции речи
    • 3.1. Реализация нейронной сети исключительно аппаратными средствами
      • 3.1.1. Ручная реализация нейронной сети
      • 3.1.2. Средства разработки нейронных сетей, выпущенные корпорацией AMD
      • 3.1.3. MATLAB Deep Learning HDL Toolbox
      • 3.1.4. Открытые средства генерации описания аппаратных средств
    • 3.2. Реализация с использованием soft-процессора
      • 3.2.1. Проектирование аппаратной системы для запуска soft-процессора MicroBlaze
      • 3.2.2. Оценка возможности работы нейронной сети Moonshine на soft-процессоре MicroBlaze
      • 3.2.3. Оценка вероятного качества работы нейронной сети Moonshine на soft-процессоре MicroBlaze
  • 4. Оценка возможности реализации системыаппаратной транскрипции речи
    • 4.1. Смена аппаратной платформы
    • 4.2. Разработка собственной нейронной сети
  • ЗАКЛЮЧЕНИЕ
  • СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
  • ПРИЛОЖЕНИЕ. ТЕХНИЧЕСКОЕ ЗАДАНИЕ НА СИСТЕМУДЛЯ АВТОМАТИЧЕСКОЙ ТРАНСКРИПЦИИ РЕЧИ