Details

Title: Применение методов оптимизации при обучении нейронной сети: выпускная квалификационная работа бакалавра: направление 09.03.04 «Программная инженерия» ; образовательная программа 09.03.04_01 «Технология разработки и сопровождения качественного программного продукта»
Creators: Конев Игорь Андреевич
Scientific adviser: Черноруцкий Игорь Георгиевич
Other creators: Локшина Екатерина Геннадиевна
Organization: Санкт-Петербургский политехнический университет Петра Великого. Институт компьютерных наук и технологий
Imprint: Санкт-Петербург, 2020
Collection: Выпускные квалификационные работы; Общая коллекция
Subjects: IT-технологии; методы оптимизации; нейронные сети; машинное обучение; градиентный спуск; метод обобщенного покоординатного спуска; метод Левенберга-Марквардта; IT; optimization methods; neural networks; machine learning; gradient decent; coordinate decent in eigen vectors axes; Levenberg–Marquardt algorithm
Document type: Bachelor graduation qualification work
File type: PDF
Language: Russian
Level of education: Bachelor
Speciality code (FGOS): 09.03.04
Speciality group (FGOS): 090000 - Информатика и вычислительная техника
Links: Отзыв руководителя; Отчет о проверке на объем и корректность внешних заимствований
DOI: 10.18720/SPBPU/3/2020/vr/vr20-1199
Rights: Доступ по паролю из сети Интернет (чтение, печать, копирование)
Record key: ru\spstu\vkr\6622

Allowed Actions:

Action 'Read' will be available if you login or access site from another network Action 'Download' will be available if you login or access site from another network

Group: Anonymous

Network: Internet

Annotation

В данной работе рассмотрено применение различных методов оптимизации для обучения заданной нейронной сети. Для этого построена математическая модель, которая легко позволяет адаптировать процесс обучения под любой из рассмотренных методов оптимизации. Произведено сравнение методов с точки зрения сходимости по аргументу и функционалу. Проведен анализ числа вычислений целевого функционала для решения задачи каждым из методов. Выполненная работа подводит к мысли о возможной модификации или замене метода обратного распространения ошибки, традиционно используемого при обучении нейронных сетей.

In this paper, we consider the application of various optimi-zation methods for training a given neural network. A mathematical model is built for these purposes. This model allows easily adapt a process of training to any of the optimization methods which are considered. The methods are compared in terms of local and global convergence. The analysis of the number of calculations of the target functional for solving the problem by each of the methods is carried out. The work done leads to the idea of a possible modification or replacement of the method of backpropagation traditionally used in the training of neural networks.

Document access rights

Network User group Action
ILC SPbPU Local Network All Read Print Download
Internet Authorized users SPbPU Read Print Download
-> Internet Anonymous

Usage statistics

stat Access count: 37
Last 30 days: 2
Detailed usage statistics