Details

Цель работы: Разработка и реализация планировщика для эффективного распределения процесса обучения нейронной сети между устройствами-волонтерами с различными уровнями вычислительных мощностей. Методы проведения работы: Работа включает анализ существующих подходов распределенного обучения, разработку алгоритмов оценки производительности устройств, динамическое распределение задач с учетом текущих нагрузок и ресурсных возможностей, а также разработку и внедрение браузерного расширения для фонового выполнения задач. Основные результаты: в ходе выполнения работы были проанализированы существующие методы распределенного обучения, выявлены их преимущества и недостатки. Разработан планировщик задач, который учитывает вычислительные мощности различных волонтеров и оптимизирует распределение задач между ними. Также было разработано и внедрено браузерное расширение, которое позволяет выполнять задачи в фоновом режиме. Проведены тестирования, показавшие эффективность разработанного решения в ускорении процесса обучения и повышении общей производительности системы. Область применения результатов: Разработанный планировщик может быть использован для распределенного обучения нейронных сетей, что особенно актуально в условиях быстро растущих объемов данных и увеличения сложности моделей. Это решение подходит для использования в научных исследованиях, крупных корпорациях и других организациях, занимающихся машинным обучением и искусственным интеллектом. Разработанный планировщик задач для распределенного обучения нейронных сетей, включающий использование браузерного расширения для фонового выполнения задач, продемонстрировал свою эффективность в улучшении производительности системы и ускорении процесса обучения. Дальнейшие исследования могут быть направлены на оптимизацию алгоритмов распределения задач и расширение функционала браузерного расширения.

Objective: Development and implementation of a scheduler for effective distribution of the neural network training process among executors with different levels of computing power. Methods: The work includes an analysis of existing distributed learning approaches, development of algorithms for assessing device performance, dynamic task distribution considering current loads and resource capabilities, and the development and implementation of a browser extension for background task execution. Main results: The study analyzed existing methods of distributed learning, identified their advantages and disadvantages. A task scheduler was developed that considers the computing power of different volunteers and optimizes task distribution among them. Additionally, a browser extension was developed and implemented to allow background task execution. Tests showed the effectiveness of the developed solution in accelerating the training process and improving the overall system performance. Application area: The developed scheduler can be used for distributed neural network training, which is especially relevant given the rapidly growing data volumes and increasing model complexity. This solution is suitable for use in scientific research, large corporations, and other organizations involved in machine learning and artificial intelligence. The developed task scheduler for distributed neural network training, including the use of a browser extension for background task execution, has demonstrated its effectiveness in improving system performance and accelerating the training process. Further research may focus on optimizing task distribution algorithms and expanding the functionality of the browser extension.