В данной работе рассмотрено применение различных методов оптимизации для обучения заданной нейронной сети. Для этого построена математическая модель, которая легко позволяет адаптировать процесс обучения под любой из рассмотренных методов оптимизации. Произведено сравнение методов с точки зрения сходимости по аргументу и функционалу. Проведен анализ числа вычислений целевого функционала для решения задачи каждым из методов. Выполненная работа подводит к мысли о возможной модификации или замене метода обратного распространения ошибки, традиционно используемого при обучении нейронных сетей.

In this paper, we consider the application of various optimi-zation methods for training a given neural network. A mathematical model is built for these purposes. This model allows easily adapt a process of training to any of the optimization methods which are considered. The methods are compared in terms of local and global convergence. The analysis of the number of calculations of the target functional for solving the problem by each of the methods is carried out. The work done leads to the idea of a possible modification or replacement of the method of backpropagation traditionally used in the training of neural networks.