Details

Цель работы и решаемые задачи: Создание модели музыкального сигнала; Создание мультитононового анализатора, который решает задачу оценки контура высоты тона, начала, длительности и тембрального признака каждого источника звука. Работа проведена на базе лаборатории ИЭиТ Санкт-Петербургского политехнического университета Петра Великого, где были произведены основные расчеты и моделирование. Был проведен обзор существующих методов анализа мультитоновых музыкальных записей, а также исследование выбранного метода. Использовались методы кластеризации, оценки. В результате был получен анализатор, способный выделить высоту тону, время начала и длительность каждого источника звука. Что может быть использовано для транскрибирования музыкальных записей.

Objective and tasks: To develop a musical signal model; to create a multipitch analyzer that addresses the task of estimating the pitch contour, onset, duration, and timbral features of each sound source. The research was conducted at the laboratory of the Institute of Electronics and Telecommunications (IET) at Peter the Great St. Petersburg Polytechnic University, where the primary calculations and modeling were carried out. A review of existing methods for analyzing polyphonic musical recordings was performed, along with an in-depth study of the selected method. Clustering and estimation techniques were employed. As a result, an analyzer was developed capable of extracting the pitch, onset time, and duration of each sound source. This makes the system suitable for the task of automatic music transcription.

• список аббревиатур, сокращений и обозначений
• Введение
• Глава 1. Описание модели
• 1.1. Анализ музыки
  • 1.1.1. Характеристики музыкальной записи
  • Существует мнение, что обработка музыкальных записей является частным случаем обработки речи, потому что многие методы и представления, изначально разработанные для речи, были применены к анализу музыки. Однако музыкальные сигналы обладают специфическ...
  • Характеристики:
  • 1. Высота тона
  • Большинство музыкальных инструментов, включая струнные инструменты (гитары, скрипки и фортепиано) и духовые инструменты (флейты, кларнеты и трубы), сконструированы так, чтобы производить звуки с легко контролируемыми, локально стабильными основными пе...
  • 2. Гамма
  • Ведем понятие октавы и гаммы. Октава – это музыкальный интервал между двумя звуками, частоты которых соотносятся как 2:1. Человек воспринимает эти два звука как очень похожие, отличающиеся только высотой звука.
  • Музыкальная гамма — набор дискретных высот тона, из которого строятся мелодии, повторяющийся каждую октаву. Современная музыка основана на «равномерно темперированной» гамме, которая делит октаву на двенадцать равных ступеней по логарифмической оси. Р...
  • Для примера рассмотрим мажорную гамму – в одной октаве используется семь нот (семь ступеней) — «белые клавиши» на фортепиано, обозначаемые До, Ре, Ми, Фа, Соль, Ля, Си. Расстояние между последовательными нотами составляет два полутона, за исключением ...
  • 3. Темп и ритм
  • Темп и ритм играют фундаментальную роль в понимании музыки и взаимодействии с ней. Ритм - устойчивый пульс, который движет музыку вперед и обеспечивает основу музыкального произведения [1]. Его можно описать как последовательность импульсов, которые р...
  • Ритм и темп невероятно важны. Для определения музыкального произведения обычно достаточно только этих двух параметров. Танцевальную музыку (например, вальс или танго) можно мгновенно распознать по лежащему в их основе ритмическому рисунку. Существуют ...
  • 4. Тембр
  • Тембр – это тот параметр, благодаря которому можно отличить два звука, даже если у них одинаковая высота тона и громкость [1]. Эта концепция тесно связана с распознаванием источника звука: например, звуки скрипки и флейты могут быть идентичны по высот...
  • Термин полифонический тембр относится к общей смеси музыкального сигнала, полному звучанию музыкального произведения В вычислительных системах акустические признаки, описывающие полифонический тембр, оказались эффективными для таких задач, как автомат...
  • 1.1.2. Представление данных
  • 1.1.3. Описание моделей
  • В этом разделе содержится разбор некоторых подходов к извлечению информации о времени начала, темпе и ритме из музыкальных сигналов, а затем укажем, как эта информация может быть применена для получения ритмических паттернов более высокого уровня.
  • Задача обнаружения времени начала — определение физических моментов начала нот или других музыкальных событий по мере их появления в музыкальной записи. Идея заключается в том, чтобы зафиксировать внезапные изменения в музыкальном сигнале, которые обы...
  • Вот несколько примеров получения этой кривой:
  • 1. Анализ амплитуды – извлечение звука на перкуссионом инструменте приводит к внезапному увеличению энергии сигнала. В таком случае возможное время начала нот можно определить с амплитудной огибающей (нужно искать моменты времени, когда сигнал резко н...
  • 2. Анализ спектрального содержания сигнала [10], [11].
  • 3. Анализ высоты тона [11], гармонии [12] или фазы [10].
  • Поэтому лучше всего использовать комбинацию кривых изменений, специально разработанных для определенных классов инструментов. Также для устранения эффектов маскировки были предложены функции обнаружения, которые разбивают сигнал на отдельные полосы и ...
  • Одним из популярных методов нахождения времени в частотной области является спектральный поток (spectral flux) [10]. В данном методе для нахождения изменения высоты тона и тембра анализируют кратковременный спектр сигнала.
  • Для анализа темпа не обязательно явно определять время начала нот, кривые изменений часто анализируются напрямую для обнаружения повторяющихся музыкальных рисунков. Рассмотрим самые популярные методы:
  • 1. Метод автокорреляции – этот метод позволяет обнаруживать периодические совпадения путем сравнения кривой изменений с ее сдвинутыми во времени копиями [13].
  • 2. Метод фильтров – этот метод основан на базе данных гребенчатых фильтров-резонаторов, где кривая изменений сравнивается с шаблонными данными, состоящими из равноотстоящих всплесков, в некотором диапазоне периодов и фаз [1].
  • 3. Кратковременное преобразование Фурье – благодаря этому преобразованию получают частотно-временное представление кривой новизны [1]. При таком подходе кривая изменений сравнивается с шаблонами, состоящими из синусоидальных ядер, каждое из которых пр...
  • Каждый из перечисленных методов выявляет свойства периодичности базовой кривой изменений, из которых можно оценить темп или ритмическую структуру. Обычно эти оценки меняются со временем. Для их визуализации используют темпограммы и ритмограммы.
  • Предполагая в композиции постоянный темп, большая часть подходов к оценке темпа определяют только одно глобальное значение темпа для всей записи. Например, такое значение может быть получено путем усреднения (например, с использованием медианного филь...
• 1.2 Модель HTC
  • 1.2.1. Постановка задачи
  • 1.2.2. Основная идея
  • 1.2.3. Реализация кластеризации и аппроксимации
  • 1.2.4. Описание модели источника ,𝒒-𝒌.
  • 1.2.5. Алгоритм максимизации ожиданий
  • 1.2.6. Использование апостериорных вероятностей
• Глава 2. Экспериментальные результаты
• 2.1. Реализация алгоритма HTC
  • 2.1.1. Перечисление функций
  • 2.1.2. Добавления к теоретическому методу
• 2.2. Результаты экспериментов
  • 2.2.1. Синтетические записи
  • 2.2.2. Реальные записи
  • 2.2.3. Анализ результатов
• Заключение
• Список использованных источников