Details

Title: Методы распределения заданий в гетерогенной среде суперкомпьютерных вычислений: выпускная квалификационная работа магистра: направление 02.04.01 «Математика и компьютерные науки» ; образовательная программа 02.04.01_03 «Искусственный интеллект и машинное обучение»
Creators: Чжэн Сичан
Scientific adviser: Заборовский Владимир Сергеевич
Organization: Санкт-Петербургский политехнический университет Петра Великого. Институт компьютерных наук и технологий
Imprint: Санкт-Петербург, 2023
Collection: Выпускные квалификационные работы; Общая коллекция
Subjects: массовое обслуживание; многозадачность; повторное бронирование; вероятность приоритета; планировщик; машинное обучение; суперкомпьютеры; вычислительные ресурсы; очереди заданий; mass maintenance; multitasking; oversubscription; priority probability; scheduler; machine learning; supercomputers; computing resources; job queues
Document type: Master graduation qualification work
File type: PDF
Language: Russian
Level of education: Master
Speciality code (FGOS): 02.04.01
Speciality group (FGOS): 020000 - Компьютерные и информационные науки
DOI: 10.18720/SPBPU/3/2023/vr/vr23-3946
Rights: Доступ по паролю из сети Интернет (чтение)
Record key: ru\spstu\vkr\25076

Allowed Actions:

Action 'Read' will be available if you login or access site from another network

Group: Anonymous

Network: Internet

Annotation

Целью работы является  улучшение методов распределения заданий в гетерогенных суперкомпьютерных средах для повышения эффективности использования вычислительных ресурсов. Для достижения цели в работе проводится анализ различных методов планирования вычислительных ресурсов, включая  применение методов массового обслуживания с повторном бронированием и вытесняющим приоритетом, а также анализируются модели с вероятностными приоритетами. В последнем случае, каждой задаче присваивается значение приоритета и задачи с более высоким приоритетом имеют более высокую вероятность быть выбранными для выполнения в текущий момент времени. Для повышения точности вычисления приоритетов заданий, находящихся в очереди суперкомпьютера предлагается модель оценок функции распределения, основанная на использовании методов машинного обучения. В работе анализируются метод машинного обучения, используемые для вычисления вероятности приоритетов. Это метод обучения на основе экспериментальных  данных, ранее успешно решенных задач. Благодаря совместному применению этих моделей и методов, результаты исследования показывают, что предложенный нами метод распределения заданий может эффективно улучшить использование вычислительных ресурсов и повысить вероятность успешного завершения заданий.

The aim of the work is to improve job allocation methods in heterogeneous supercomputing environments to increase the efficiency of computational resources utilization. To achieve the goal, the paper analyzes various methods for scheduling computational resources, including the application of mass service methods with rebooking and preemptive priority, and also analyzes models with probabilistic priorities. In the latter case, each task is assigned a priority value and tasks with higher priority have a higher probability of being selected for execution at the current time. To improve the accuracy of calculating the priorities of the tasks in the supercomputer queue, a model for estimating the distribution function based on the use of machine learning techniques is proposed. The paper analyzes the machine learning method used to calculate the probability of priorities. It is a learning method based on experimental data from previously successfully solved problems. Through the combined application of these models and methods, the results of the study show that our proposed task allocation method can effectively improve the use of computational resources and increase the probability of successful task completion.

Document access rights

Network User group Action
ILC SPbPU Local Network All Read
Internet Authorized users SPbPU Read
-> Internet Anonymous

Usage statistics

stat Access count: 3
Last 30 days: 1
Detailed usage statistics