Details

Данная работа посвящена исследованию и программной реализации метода оптимизации второго порядка на основе экспоненциальной релаксации (ЭР) для обучения нейронных сетей в условиях плохой обусловленности целевых функционалов. В ходе исследования проведен анализ ограничений классических алгоритмов первого порядка (SGD, Adam, RMSProp) и выявлены математические причины их стагнации в задачах с выраженной овражной топологией и мультиколлинеарностью признаков. Рассмотрен математический аппарат метода ЭР. С применением языка программирования Python и фреймворка PyTorch спроектирован и реализован программный комплекс, позволяющий использовать метод ЭР для обучения архитектур глубокого обучения. Для преодоления проблемы кубической вычислительной сложности разработаны и интегрированы оптимизированные безгессиановые версии алгоритма, которые значительно снижают потребление оперативной памяти и время на итерацию. Реализованная система протестирована на различных архитектурах и задачах. Произведено сравнение предложенного гибридного подхода с традиционными алгоритмами. Результаты продемонстрировали превосходство метода экспоненциальной релаксации в скорости сходимости, точности аппроксимации и способности эффективно преодолевать патологическую кривизну ландшафта функции потерь там, где методы первого порядка терпят неудачу.

This work is devoted to the study and software implementation of second-order optimization method based on exponential relaxation (ER) for training neural networks under ill-conditioned conditions of objective functionals. During the study, an analysis of the limitations of classical first-order algorithms (SGD, Adam, RMSProp) was carried out, and the mathematical reasons for their stagnation in tasks with a pronounced ravine topology and feature multicollinearity were identified. The mathematical apparatus of the ER method was considered. Based on the Python programming language and the PyTorch framework, a software complex (hybrid optimizer) was designed and implemented, allowing the effective application of the ER method for training deep learning architectures. To overcome the problem of cubic computational complexity, optimized Hessian-free versions of the algorithm were developed and integrated, which significantly reduce RAM consumption and iteration time. The resulting system was tested on various architectures and tasks. The proposed hybrid approach was compared with traditional algorithms. The results demonstrated the superiority of the exponential relaxation method in convergence speed, approximation accuracy, and the ability to effectively overcome the pathological curvature of the loss function landscape where first-order methods fail.