Details

Цель работы: Повышение эффективности алгоритмов идентификации человека по голосу за счет применения нейросетевых фильтров. Задачи: 1. Обзор существующих методов идентификации человека по голосу. 2. Обзор существующих методов фильтрации голоса. 3. Разработка набора данных для тестирования нейросетевого фильтра. 4. Разработка метода фильтрации голоса. 5. Тестирование разработанного метода. Работа проведена на базе Высшей школы прикладной физики и космических технологий Института электроники и телекоммуникаций Санкт-Петербургского политехнического университета Петра Великого. В ходе исследования были проведены расчёты, анализ и экспериментальное тестирование разработанных нейросетевых фильтров. Использовались методы обработки спектрограмм с помощью кратковременного преобразования Фурье (STFT), а также подходы глубокого обучения с архитектурами U-Net, Visual Transformer (ViT) и Visual Mamba (ViM). В результате было получено значительное повышение эффективности идентификации человека по голосу в зашумленных условиях. Продемонстрировано, что нейросетевые фильтры значительно превосходят традиционные методы. Показано, что Visual Transformer обеспечивает наивысшую точность, тогда как Visual Mamba предлагает оптимальный компромисс между точностью и вычислительными затратами. Полученные результаты могут быть использованы для улучшения существующих и создания новых, более устойчивых систем голосовой аутентификации и биометрии.

The aim of the work: To improve the efficiency of human voice identification algorithms through the application of neural network filters. Objectives: 1. Review existing methods for human voice identification. 2. Review existing methods for voice filtration. 3. Develop a dataset for testing the neural network filter. 4. Develop a voice filtration method. 5. Test the developed method. The work was conducted at the Higher School of Applied Physics and Space Technologies, Institute of Electronics and Telecommunications, Peter the Great St. Petersburg Polytechnic University. During the research, calculations, analysis, and experimental testing of the developed neural network filters were performed. Methods for processing spectrograms using Short-Time Fourier Transform (STFT) were employed, along with deep learning approaches incorporating U-Net, Visual Transformer (ViT), and Visual Mamba (ViM) architectures. As a result, a significant improvement in the efficiency of human voice identification in noisy conditions was achieved. It was demonstrated that neural network filters significantly outperform traditional methods. The Visual Transformer was shown to provide the highest accuracy, while Visual Mamba offered an optimal compromise between accuracy and computational costs. The obtained results can be used to enhance existing and create new, more robust systems for voice authentication and biometrics.