Details

Целью данной работы является автоматизация выявления синтетической речи на основе спектрального анализа. Объектом исследования являются технологии обнаружения синтетической речи в аудиосообщениях. Задачи, решаемые в ходе исследования: 1. Анализ современных технологий генерации и обнаружения синтетической речи. 2. Анализ акустических признаков аудиосигнала, используемых для обнаружения синтетической речи. 3. Разработка модели обнаружения синтетической речи. 4. Реализация программного прототипа модели и интеграция в Telegram-бота. В ходе работы проанализированы современные системы обнаружения дипфейков, которые имеют недостатки в виде низкой точности классификации для зашумленных и сжатых аудиосигналов. Сделаны выводы о необходимости создания быстрого и надежного решения. Для общей доступности, полученное средство интегрировано в Telegram-бота. Полученные результаты могут быть применены в целях борьбы с фишинговыми атаками, использующие голосовые дипфейки. Для достижения данных результатов написан собственный классификатор, использующий архитектуру 2D CNN + MLP, позволяющий быстро и с высокой точность анализировать зашумленные и сжатые аудиосигналы.

The purpose of the study is to automate the detection of synthetic speech based on spectral analysis. The object of the study is technologies for detecting synthetic speech in audio messages. The research sets the following goals: 1. Analysis of modern technologies for generating and detecting synthetic voice speech. 2. Analysis of acoustic features of the audio signal used to detect synthetic speech. 3. Development of a synthetic speech detection model. 4. Implementation of the software prototype of the model and integration into the Telegram bot. During the work, modern deepfake detection systems were analyzed, which have disadvantages in the form of low classification accuracy for noisy and compressed audio signals. Conclusions were drawn about the need to create a fast and reliable solution. For general accessibility, the received tool has been integrated into the Telegram bot. The results obtained can be applied to combat phishing attacks using voice deepfakes. To achieve these results, we wrote our own classifier using the 2D CNN + MLP architecture, which allows fast and accurate analysis of noisy and compressed audio signals.