Details

Работа посвящена разработке программного средства на основе дискретно-событийного моделирования для оценки эффективности коммуникаций и прогнозирования инфраструктурных затрат при распределённом обучении больших языковых моделей. Разработанный инструмент позволяет моделировать межузловые взаимодействия при различных схемах распределения вычислений и сетевых топологиях. Спроектирована объектно-ориентированная архитектура симулятора, обеспечивающая независимость логики моделирования от особенностей сетевого оборудования. Реализована поддержка гибридного 3D-параллелизма, базовых сетевых примитивов, коллективных операций, а также моделей внутриузловых и межузловых соединений. Проведено экспериментальное исследование на кластере из 256 графических ускорителей. Результаты подтвердили применимость инструмента для анализа сетевых архитектур и выбора рациональных стратегий размещения логических рангов, сокращающих простой вычислительных ресурсов и инфраструктурные затраты. Разработка выполнена на языке Python 3. Конфигурация симуляций задавалась в форматах YAML и JSON. Для контроля версий использовался Git, для разработки и отладки – среда PyCharm.

This work is devoted to the development of a software tool based on discrete-event simulation for evaluating communication efficiency and estimating infrastructure costs in distributed training of large language models. The developed tool enables the simulation of inter-node communication under various computation distribution schemes and network topologies. An object-oriented simulator architecture was designed to ensure independence of the simulation logic from specific networking hardware. The tool supports hybrid 3D parallelism strategies, basic network primitives, collective communication operations, as well as models of intra-node and inter-node cluster topologies. An experimental study was conducted on a cluster comprising 256 GPUs. The results confirmed the applicability of the tool for analyzing network architectures and identifying efficient logical rank placement strategies that reduce computational resource idle time and infrastructure costs. The software was implemented in Python 3. Simulation configurations were specified using YAML and JSON formats. Git was used for version control, while PyCharm served as the development and debugging environment.