Details

В машинном обучении для анализа выживаемости разработан ряд ансамблевых методов, включая случайные леса выживаемости, градиентный бустинг на основе слабых моделей и ансамбли моделей Кокса. В данной работе предложены две новые ансамблевая модель SurvBETA (Survival Beran Estimator Ensemble using Three Attention mechanisms) и SurvBESA (Survival Beran Estimator Ensemble using Self-Attention), расширяющие набор существующих подходов. В качестве базовых алгоритмов в ансамблях используются модели Берана, которые можно рассматривать как ядерные регрессионные модели, учитывающие зависимости между объектами. Предсказания слабых моделей в форме условных функций выживаемости объединяются посредством механизма внимания, вычисляемого на основе расстояния между различными объектами. Особенностью SurvBETA является тройное применение механизма внимания: при построении моделей Берана, при определении прототипов бутстреп-выборок и при агрегации предсказаний слабых моделей. В то же время в SurvBESA используется механизм самовнимания, с помощью которого усредняются функции выживаемости, полученные слабыми моделями. Для моделей предлагается использовать специальное представление весов внимания через модель неточных данных Хьюбера, что значительно снижает вычислительную сложность и позволяет решать более простую оптимизационную задачу. Проведенные численные эксперименты демонстрируют свойства модели на синтетических данных. Сравнение с существующими методами анализа выживаемости на реальных данных подтверждает эффективность предложенного подхода.

In machine learning, several ensemble methods have been developed for survival analysis, including random survival forests, gradient boosting based on weak models, and ensembles of Cox models. In this paper, two new ensemble models are proposed, SurvBETA (Survival Beran Estimator Ensemble using Three Attention mechanisms) and SurvBESA (Survival Beran Estimator Ensemble using Self-Attention), expanding the set of existing approaches. Beran models are used as basic algorithms in ensembles, which can be considered as nuclear regression models that take into account the dependencies between objects. The predictions of weak models in the form of conditional survival functions are combined through the mechanism of attention, calculated based on the distance between different objects. A special feature of SurvBETA is the threefold application of the attention mechanism: in the construction of Beran models, in the definition of bootstrap sample prototypes, and in the aggregation of predictions of weak models. At the same time, SurvBESA uses a self-attention mechanism, which averages the survival functions obtained by weak models. For the models, it is proposed to use a special representation of the attention weights through the Huber model of inaccurate data, which significantly reduces computational complexity and allows solving a simpler optimization problem. The numerical experiments performed demonstrate the properties of the model based on synthetic data. Comparison with existing methods of survival analysis based on real data confirms the effectiveness of the proposed approach.