Details

This paper proposes a novel anomaly detection model, called Attention-Based Isolation Forest with trainable Scoring Function (ABIF-SF). ABIF-SF enhances the original isolation forest algorithm by incorporating attention weights determined by scoring functions whose parameters are trained using gradient descent. The attention weights indicate the relevance of each data instance to the anomaly assessment task for each tree in the isolation forest. Two scoring functions are explored - scaled dot product and additive attention. Numerical experiments on real-world datasets demonstrate that ABIF-SF achieves better anomaly detection performance compared to isolation forest and attention-based isolation forest with the contamination model. The proposed method simplifies the computation of attention weights by using scoring functions and hinge loss optimization. The code implementation of ABIF-SF has been made publicly available for further research and benchmarking. Overall, the incorporation of trainable scoring functions to compute context-aware attention weights improves isolation forests for anomaly detection tasks.

В данной статье предлагается новая модель обнаружения аномалий, называемая лесом изоляции на основе внимания с обучаемой функцией оценки (Attention-Based Isolation Forest with trainable Scoring Function, ABIF-SF). ABIF-SF улучшает исходный алгоритм леса изоляции, включая веса внимания, определяемые функциями оценки, параметры которых обучаются с помощью градиентного спуска. Веса внимания указывают на релевантность каждого экземпляра данных для задачи оценки аномалии для каждого дерева в лесу изоляции. Исследуются две функции оценки - масштабированное скалярное произведение и аддитивное внимание. Численные эксперименты на реальных наборах данных показывают, что ABIF-SF достигает лучшей производительности обнаружения аномалий по сравнению с лесом изоляции и лесом изоляции на основе внимания с моделью загрязнения. Предложенный метод упрощает вычисление весов внимания за счет использования функций оценки и оптимизации потерь шарнира. Реализация кода ABIF-SF была сделана общедоступной для дальнейших исследований и сравнительного анализа. В целом, включение обучаемых функций оценки для вычисления весов внимания с учетом контекста улучшает леса изоляции для задач обнаружения аномалий.

Информатика, телекоммуникации и управление = Computing, Telecommunications and Control. — Санкт-Петербург: СПбПУ, 2020-. — Электрон. журнал. — Периодичность: 4 раза в год. — Свободный доступ из сети Интернет (чтение, печать, копирование). — Текст: электронный

Информатика, телекоммуникации и управление = Computing, Telecommunications and Control. — Санкт-Петербург: СПбПУ, 2020-. Т. 18, № 1, 2025. — 1 файл (10,7 Мб). — Свободный доступ из сети Интернет (чтение, печать, копирование). — <URL:http://elib.spbstu.ru/dl/2/j25-123.pdf>.