Details

Title: Исследование ускорения обучения генеративных состязательных сетей: выпускная квалификационная работа бакалавра: направление 01.03.02 «Прикладная математика и информатика» ; образовательная программа 01.03.02_02 «Системное программирование»
Creators: Денисов Павел Павлович
Scientific adviser: Чуканов Вячеслав Сергеевич
Other creators: Арефьева Людмила Анатольевна
Organization: Санкт-Петербургский политехнический университет Петра Великого. Институт прикладной математики и механики
Imprint: Санкт-Петербург, 2020
Collection: Выпускные квалификационные работы; Общая коллекция
Subjects: генеративно-состязательные сети; автокодеры; нейронные сети; ускорение обучения; генерация изображений; generative adversarial networks; autoencoders; neural networks; learning time acceleration; image generation
Document type: Bachelor graduation qualification work
File type: PDF
Language: Russian
Speciality code (FGOS): 01.03.02
Speciality group (FGOS): 010000 - Математика и механика
Links: Отзыв руководителя; Отчет о проверке на объем и корректность внешних заимствований
DOI: 10.18720/SPBPU/3/2020/vr/vr20-1453
Rights: Доступ по паролю из сети Интернет (чтение, печать, копирование)

Allowed Actions:

Action 'Read' will be available if you login or access site from another network Action 'Download' will be available if you login or access site from another network

Group: Anonymous

Network: Internet

Annotation

Данная работа посвящена исследованию ускорения обучения генеративно-состязательных сетей и разработке новой методики обучения GAN, позволяющей с сохранением качества генерируемых изображений существенно улучшить время обучения. Задачи, которые решались в ходе исследования: 1. Анализ существующих моделей генеративно-состязательных сетей и автокодеров, их архитектур и методик их обучения. 2. Выбор наиболее перспективных моделей сетей, то есть как можно более эффективных по времени обучения. 3. Разработка новой методики обучения GAN. 4. Тестирование разработанной методики обучения генеративно-состязательных сетей. Основная идея метода – использование в качестве «генератора» в генеративно-состязательной сети декодировщика из предобученного автокодера. Тем самым, время на обучение GAN будет складываться из времени, потраченного на предобучение автокодера, и времени, потраченного на обучение «слияния» GAN и декодера. Был проведен анализ существующих различных архитектур генеративно-состязательных сетей и автокодеров, из которых были выбраны архитектуры WGAN-GP для GAN и WAE для автокодера. Была разработана новая методика обучения генеративно-состязательных сетей. В ходе ее тестирования был проведен ряд экспериментов на датасете MNIST, по результатам которых модель, обученная по предложенной методике, не уступала по качеству исходному WGAN-GP, однако время обучения сократилось на 48%.

This paper is devoted to the study of acceleration of training generative adversarial networks and the development of the new method of training GAN, which can significantly improve the learning time while maintaining the quality of the generated samples. The research set the following goals: 1. Analysis of existing models of generative adversarial networks and autoencoders, their architectures and methods of their training. 2. The choice of the most promising network models, that is, the most time-efficient training possible. 3. Development of a new GAN training methodology. 4. Testing the developed training methodology for generative adversarial networks. The main idea of the method is the use of a decoder from pre-trained autoencoder model as a generator in a generative adversarial network. Thus, the time spent on training the GAN will consist of the time spent on pre-training the autoencoder and the time spent on training merged GAN model. Various architectures of generative adversarial networks and autoencoders were examined, from which WGAN-GP architecture for GAN and WAE architecture for autoencoder were selected. A new methodology for training generative adversarial networks has been developed. During its methodology, a series of experiments have been conducted on MNIST dataset, according to the results of which the proposed model was not inferior in quality to the original WGAN-GP model, however, the training time has been reduced by 48%.

Document access rights

Network User group Action
ILC SPbPU Local Network All Read Print Download
Internet Authorized users Read Print Download
-> Internet Anonymous

Usage statistics

stat Access count: 1
Last 30 days: 1
Detailed usage statistics