Details

The paper considers the machine learning problem of simultaneous estimation of the conditional survival distribution and dynamic characteristics of computational tasks. The problem arises in cluster workload management and is extremely relevant for optimal scheduling. To solve the problem, a new method is proposed, based on the combination of the attention mechanism and the random survival forest. The key feature is the use of a tree structure derived from a random survival forest. The forest construction algorithm uses only the survival dataset. Each leaf uses the unconditional Kaplan-Meier estimate, which is a serious limitation of the forest, especially for rare events in some parts of the feature space. Moreover, the random survival forest does not allow estimating the dynamic parameters of the task. The proposed method solves these problems by extending the already constructed random survival forest with the attention mechanism inside each leaf of the tree. The Beran estimator is used to model survival distribution, and the Nadaraya-Watson regression with the same parameters is used to predict the dynamic characteristics of tasks. To do this, subsets of training data corresponding to the same leaf as the input vector are used. As a result, the joint model is obtained that allows us to estimate the survival function more accurately and at the same time to predict the dynamic characteristics of the task. The developed model combines the advantages of smooth models based on the attention mechanism and stepwise decision trees.

В статье рассматривается задача машинного обучения, заключающаяся в одновременной оценке условного распределения выживаемости и динамических характеристик вычислительных задач. Проблема возникает при управлении рабочей нагрузкой кластера, и крайне актуальна для оптимального планирования. Для решения задачи предложен новый метод, основанный на комбинации механизма внимания и случайном лесе выживаемости. Ключевой особенностью является использование древовидной структуры, полученной случайным лесом выживания. Алгоритм построения леса опирается только на данные задачи выживаемости. В каждом листе используется безусловная оценка Каплана-Мейера, что является серьезным ограничением леса, особенно в случае редких событий в некоторых частях пространства признаков. Более того, случайный лес выживаемости не позволяет оценить динамические параметры задачи. Предлагаемый метод решает данные проблемы, дополняя уже построенный случайный лес выживаемости механизмом внимания внутри каждого листа дерева. Для моделирования выживаемости применяется оценка Берана, а для предсказания динамических характеристик задач - регрессия Надарая-Ватсона с теми же параметрами. Для этого используются подмножества обучающих данных, соответствующие тому же листу, что и входной вектор. В результате получена совместная модель, позволяющая более точно оценить функцию выживаемости и одновременно предсказать динамические характеристики задачи. Разработанная модель сочетает в себе преимущества гладких моделей, основанных на механизме внимания, и ступенчатых деревьев решений.

Информатика, телекоммуникации и управление = Computing, Telecommunications and Control. — Санкт-Петербург: СПбПУ, 2020-. — Электрон. журнал. — Периодичность: 4 раза в год. — Свободный доступ из сети Интернет (чтение, печать, копирование). — Текст: электронный

Информатика, телекоммуникации и управление = Computing, Telecommunications and Control. — Санкт-Петербург: СПбПУ, 2020-. Т. 17, № 3: Тематический сборник "Решение прикладных задач методами искусственного интеллекта", 2024. — 1 файл (12,6 Мб). — Свободный доступ из сети Интернет (чтение, печать, копирование). — <URL:http://elib.spbstu.ru/dl/2/j24-421.pdf>.