Целью данной работы является сравнение современных методов автоматической транскрипции мелодии песни (вокала) разных классов: на основе иерархической скрытой полумарковской модели (HHSMM) и на основе сверточной сети архитектуры ResNet-18. Был также рассмотрен метод транскрипции музыки общего назначения из библиотеки Essentia для выявления возможных преимуществ специализированных методов. Для количественной оценки использовались метрики, утвержденные организацией MIREX. В данной работе воспроизводится метод транскрипции вокала с использованием музыкальной модели на основе HHSMM. Данные о производительности метода на основе ResNet-18 были получены из статьи авторов метода, так как ими использовались те же метрики и данные. Эксперимент показал, что специализированные методы HHSMM и ResNet-18 справились с задачей транскрипции вокала лучше, нежели метод общего назначения. При этом метод HHSMM не дал значительного улучшения, в то время как ResNet-18 улучшил показатели на 15-20 процентов.

The goal of this work is to compare modern automatic singing transcription methods of different classes: the one based on a hierarchical hidden semi-Markovian model and the other based on a convolutional network with the ResNet-18 architecture. The general-purpose music transcription method of the Essentia library was considered as a baseline to identify the potential benefits of specialized methods. To evaluate these methods, metrics approved by MIREX were used. This work reproduces a vocal transcription method based on HHSMM with a musical score model. The ResNet-18 based method performance was taken from the original publication, since they used the same metrics and dataset to evaluate the method. The experiment showed that the specialized methods HHSMM and ResNet-18 coped with the task of vocal transcription better than the general-purpose method. At the same time, the HHSMM method did not yield a significant improvement, while ResNet-18 improved performance by 15-20 percent.

• СПИСОК ОБОЗНАЧЕНИЙ И СОКРАЩЕНИЙ
• ВВЕДЕНИЕ
• 1. Метод транскрипции вокала на основе HHSMM
  • 1.1. Музыкальная модель
  • 1.2. Модель кривой F0
  • 1.3. Байесовская формулировка
  • 1.4. Вывод апостериорного распределения модели
    • 1.4.1. Обучение без учителя
    • 1.4.2. Апостериорная оптимизация
• 2. Реализация метода HHSMM
  • 2.1. Окружение и инструменты
  • 2.2. Организация кода
  • 2.3. Оптимизация
    • 2.3.1. Введение ограничений на модель
    • 2.3.2. Оптимизация кода
    • 2.3.3. Проверка соответствия реализации модели
• 3. Оценка и сравнение методов транскрипции вокала
  • 3.1. Набор данных
  • 3.2. Метрики
  • 3.3. Тестирование
  • 3.4. Результаты
• ЗАКЛЮЧЕНИЕ
• СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
• ПРИЛОЖЕНИЕ. ЛИСТИНГИ