Детальная информация

Объект — программные системы автоматического распознавания речевых команд в условиях акустических помех промышленного происхождения. Предмет — методы PEFT-адаптации трансформерных ASR-моделей к классификации голосовых команд с оптимизацией для CPU-инференса и OOD-детекция на основе метрик в пространстве эмбеддингов. Цель — разработка автономной системы распознавания голосовых команд оператора с CPU-инференсом без GPU, обеспечивающей точность F1 ≥ 0,95 при промышленных акустических помехах на борту морского судна. Задачи: (1) сравнительный анализ ASR-архитектур и выбор базовой модели; (2) синтез обучающего корпуса морских команд; (3) LoRA-адаптация Wav2Vec2-XLSR-53-Russian; (4) ансамблевый OOD-детектор (расстояние Махаланобиса); (5) ONNX INT8-квантизация, многопоточный инференс, REST API; (6) экспериментальная верификация в 11 сериях. Результаты: F1-мера 0,98 (ONNX INT8) на дикторово-независимой тестовой выборке; задержка инференса 247 мс на CPU Intel Core i5-6300U (вдвое ниже порога 500 мс); подавление 100 % синтетических нецелевых помех OOD-детектором при ошибке I рода 0,67 %; стабильная работа 24 ч без утечек памяти. RSS = 379 МБ. Область применения — системы голосового управления морских судов и промышленных объектов с ограниченными вычислительными ресурсами, требующие офлайн-работы без интернет-соединения.

Object: software systems for automatic speech command recognition in real time under industrial acoustic noise. Subject: PEFT adaptation of transformer ASR models for voice command classification, CPU inference optimisation, and metric-based OOD detection in the embedding space. Aim: develop an autonomous offline voice command recognition system with CPU-only inference (no GPU), achieving F1 ≥ 0.95 under maritime industrial noise. Tasks: (1) comparative ASR architecture analysis and base model selection; (2) hybrid synthesis of a labelled maritime command corpus (Silero v4 TTS + ESC-50/AudioSet noise); (3) LoRA adaptation of Wav2Vec2-XLSR-53-Russian; (4) Mahalanobis-distance ensemble OOD detector; (5) ONNX INT8 quantisation, multithreaded streaming inference, REST API; (6) experimental verification across 11 series. Results: F1 = 0.98 (ONNX INT8) on a speaker-independent test set; inference latency 247 ms on Intel Core i5-6300U CPU (2× below the 500 ms threshold); 100% suppression of synthetic OOD events by the Mahalanobis detector (false-rejection rate 0.67% on real commands); stable 24-hour continuous operation without memory leaks; RSS = 379 MB. Application area: voice control systems for maritime vessels and industrial facilities with limited computational resources requiring autonomous offline operation.