Details

В данной работе рассматривается задача прогнозирования времени выполнения вычислительных задач в суперкомпьютерных системах общего пользования. Актуальность исследования обусловлена высокой неоднородностью вычислительных нагрузок и необходимостью повышения эффективности распределения вычислительных ресурсов суперкомпьютерных систем. В работе выполнен сравнительный анализ статистических и топологических методов анализа вычислительных процессов суперкомпьютерных систем. Рассмотрены подходы к прогнозированию времени выполнения вычислительных задач на основе статистических методов, алгоритмов машинного обучения и методов топологического анализа данных. В работе реализован модульный программный комплекс на языке Python, включающий средства загрузки и обработки данных SLURM, построения Mapper-графов, обучения моделей машинного обучения и визуализации результатов прогнозирования. Проведено экспериментальное исследование разработанного подхода и выполнен сравнительный анализ статистических и топологических моделей. Полученные результаты подтверждают перспективность применения методов топологического анализа данных для повышения эффективности прогнозирования времени выполнения вычислительных задач в суперкомпьютерных кластерах.

This work examines the problem of predicting the execution time of computational tasks in shared-use supercomputer systems. The relevance of the research is driven by the high heterogeneity of computational workloads and the need to improve the efficiency of resource allocation in supercomputer systems. The study performs a comparative analysis of statistical and topological methods for analyzing computational processes in supercomputer systems. Approaches to predicting computational task execution time based on statistical methods, machine learning algorithms, and topological data analysis methods are considered. A modular software suite was implemented in Python, including tools for loading and processing SLURM data, constructing Mapper graphs, training machine learning models, and visualizing prediction results. An experimental study of the developed approach was conducted, and a comparative analysis of statistical and topological models was performed. The obtained results confirm the potential of applying topological data analysis methods to improve the efficiency of predicting computational task execution time in supercomputer clusters.