Details

В данной работе рассматривается задача повышения производительности суперкомпьютерного центра коллективного пользования на основе разработки робастной модели управления выживаемостью вычислительных задач. Специфика исторических данных планировщика задач предполагает наличие значительной доли цензурированных наблюдений, что обуславливает применение методов анализа выживаемости вместо традиционных подходов регрессии или классификации. Для решения проблемы устойчивости модели к изменению характеристик задач и шума в метках предлагается метод анализа выживаемости, сочетающий теорию неточных вероятностей с глубоким обучением и механизмами внимания для моделирования неопределенности в цензурированных наблюдениях. Разработанная модель позволяет оценивать функцию риска и прогнозировать вероятность системного отказа задачи с учетом гетерогенности рабочей нагрузки. Практическая значимость работы заключается в возможности интеграции модели в систему планирования ресурсов для проактивного управления задачами, что способствует оптимизации утилизации вычислительных узлов и снижению количества неудачных запусков.

This paper addresses the problem of improving the performance of a shared supercomputer center by developing a robust model for managing the survival of computational jobs. The specific nature of historical data from the job scheduler implies a significant proportion of censored observations, which necessitates the use of survival analysis methods instead of traditional regression or classification approaches. To solve the problem of model robustness to changes in job characteristics and noise in the labels, a survival analysis method is proposed that combines the theory of imprecise probabilities with deep learning and attention mechanisms to model uncertainty in censored observations. The developed model makes it possible to estimate the hazard function and predict the probability of job system failure, taking into account workload heterogeneity. The practical significance of the work lies in the possibility of integrating the model into the resource scheduling system for proactive job management, thereby optimizing the utilization of compute nodes and reducing the number of failed job executions.