Details

Работа посвящена созданию масштабируемого вычислительного комплекса для безопасного тестирования студенческого кода и исследованию эффективности применения генеративных нейросетей в задачах пространственного планирования. Задачи, которые решались в ходе исследования: 1. Изучение методов автоматизации тестирования кода и выявление уязвимостей классических лабораторных работ перед генеративными моделями (LLM). 2. Проектирование микросервисной архитектуры турнирного комплекса с аппаратной изоляцией пользовательских скриптов. 3. Разработка и математическая оптимизация эталонных моделей интеллектуальных агентов с применением алгоритмов байесовской оптимизации. 4. Проведение серии сравнительных машинных экспериментов между алгоритмами, сгенерированными современными LLM, и эталонными стратегиями. По результатам работы создана отказоустойчивая турнирная платформа, полностью исключающая влияние субъективного фактора при оценке алгоритмов. Экспериментально доказана низкая эффективность применения современных больших языковых моделей для решения задач долгосрочного пространственного планирования в условиях дефицита информации по сравнению со специализированными математическими стратегиями.

The given work is devoted to the creation of a scalable computing complex for safe testing of student code and the study of the generative neural networks efficiency in spatial planning tasks. The research set the following goals: 1. Study of code testing automation methods and identification of classical laboratory works vulnerabilities to generative models (LLMs). 2. Design of the microservice architecture of the tournament complex with hardware isolation of user scripts. 3. Development and mathematical optimization of reference intelligent agent models using Bayesian optimization algorithms. 4 . Conducting a series of comparative machine experiments between algorithms generated by modern LLMs and reference strategies. Based on the results of the work, a fault-tolerant tournament platform was created, completely eliminating the subjective factor in algorithm evaluation. The low efficiency of using modern large language models for solving long-term spatial planning tasks under information deficit compared to specialized mathematical strategies was experimentally proven.