Детальная информация

Данная работа посвящена разработке программного комплекса для обнаружения голосового фишинга в режиме реального времени на основе методов машинного обучения. В работе проведён анализ существующих подходов к обнаружению мошеннических звонков, включая методы семантического анализа текста, акустического анализа аудиосигнала и поведенческого анализа структуры речи. Выявлены ограничения существующих решений, связанные с недостаточной точностью при использовании отдельных методов и сложностью обработки аудиопотока в режиме реального времени. Предложен гибридный подход, объединяющий семантический, акустический и поведенческий анализ с использованием модели машинного обучения для принятия итогового решения. Разработанный программный комплекс реализует потоковую обработку аудиосигнала, распознавание речи с использованием библиотеки Vosk и извлечение признаков для классификации звонков. В качестве модели машинного обучения использована логистическая регрессия, обученная на размеченном наборе аудиофрагментов. В ходе экспериментальной оценки система продемонстрировала высокую точность обнаружения мошеннических звонков при низком уровне ложных срабатываний. Реализованный программный комплекс обеспечивает анализ речи в режиме реального времени и может быть использован в антифрод-системах, call-центрах и системах информационной безопасности для повышения эффективности обнаружения голосового фишинга. Для достижения полученных результатов использовались язык программирования Python, библиотеки Vosk, Scikit-learn, NumPy, средства обработки аудиосигналов и технологии машинного обучения для анализа речевых данных.

The work is devoted to the development of a software system for detecting voice phishing in real time using machine learning methods. The thesis includes an analysis of existing approaches to detecting fraudulent calls, including semantic text analysis, acoustic signal analysis, and behavioral analysis of speech patterns. The limitations of existing solutions are identified, including insufficient accuracy when using individual methods and difficulties in processing audio streams in real time. A hybrid approach is proposed, combining semantic, acoustic, and behavioral analysis with a machine learning model for final decision-making. The developed system performs real-time audio stream processing, speech recognition using the Vosk library, and feature extraction for classification. A logistic regression model is used as the machine learning component, trained on a labeled dataset of audio fragments. Experimental evaluation demonstrates high detection accuracy with a low false positive rate. The developed software system enables real-time speech analysis and can be applied in anti-fraud systems, call centers, and information security systems to improve voice phishing detection. The research was carried out using Python, Vosk, Scikit-learn, NumPy, audio signal processing tools, and machine learning technologies for speech data analysis.

• СОКРАЩЕНИЯ
• ВВЕДЕНИЕ
• ГЛАВА 1. ОБЗОР ПРЕДМЕТНОЙ ОБЛАСТИ
  • 1.1 Голосовой фишинг как объект анализа и основные вызовы обнаружения
  • 1.2 Существующие подходы к обнаружению голосового фишинга
    • 1.2.1 Методы акустического анализа речи
    • 1.2.2 Методы обработки естественного языка
    • 1.2.3 Поведенческий анализ диалога
    • 1.2.4 Методы выявления синтетической речи и анти-спуфинг
    • 1.3. Обзор существующих программных решений и сервисов защиты от телефонного мошенничества
    • 1.4. Методы машинного обучения в задачах обнаружения голосового фишинга
    • 1.4.1 Традиционные модели классификации
    • 1.4.2 Нейросетевые подходы
    • 1.4.3 Ограничения применения методов машинного обучения
  • 1.5. Требования к разрабатываемой системе
    • 1.5.1 Функциональные требования к системе
    • 1.5.2 Нефункциональные требования к системе
  • 1.6 Выводы
  • 2.1 Концептуальная схема подхода
  • 2.2 Семантический анализатор
    • 2.2.1 Выявление фишинговых фраз и шаблонов
    • 2.2.2 Формирование семантической оценки риска
  • 2.3 Акустический анализатор
    • 2.3.1 Используемые акустические признаки
    • 2.3.2 Формирование акустической оценки риска
  • 2.4 Поведенческий анализатор
    • 2.4.1 Анализ структуры диалога
    • 2.4.2 Формирование поведенческой оценки риска
  • 2.5 Формирование признаков на основе результатов работы анализаторов
  • 2.6 Подготовка и описание датасета
  • 2.7 Обучение модели машинного обучения
  • 2.8 Выводы
• ГЛАВА 3. РЕАЛИЗАЦИЯ ПРОГРАММНОГО КОМПЛЕКСА
  • 3.1 Общая архитектура программного комплекса
    • 3.1.1 Описание архитектуры
  • 3.2 Реализация потоковой обработки аудиосигнала
  • 3.3 Реализация модуля извлечения и объединения признаков
  • 3.4 Реализация модуля машинного обучения
  • 3.5 Реализация режима реального времени и пользовательского взаимодействия
  • 3.6 Сохранение результатов анализа и evidence-файлов
  • 3.7 Выводы
• ГЛАВА 4. ЭКСПЕРИМЕНТАЛЬНАЯ ОЦЕНКА СИСТЕМЫ
  • 4.1 Постановка эксперимента и используемые данные
  • 4.2 Метрики качества классификации
  • 4.3. Результаты экспериментальной оценки
  • 4.4. Анализ результатов и выводы
  • 4.5. Ограничения эксперимента и направления дальнейшего развития
• ЗАКЛЮЧЕНИЕ
• СПИСОК ЛИТЕРАТУРЫ