Details
| Title | Исследование и сравнительный анализ алгоритмов оптимизации градиентного спуска в моделях глубокого обучения: выпускная квалификационная работа бакалавра: направление 09.03.04 «Программная инженерия» ; образовательная программа 09.03.04_01 «Технология разработки и сопровождения качественного программного продукта» |
|---|---|
| Creators | Боженко Диана Вячеславовна |
| Scientific adviser | Черноруцкий Игорь Георгиевич |
| Other creators | Локшина Екатерина Геннадиевна |
| Organization | Санкт-Петербургский политехнический университет Петра Великого. Институт компьютерных наук и технологий |
| Imprint | Санкт-Петербург, 2020 |
| Collection | Выпускные квалификационные работы ; Общая коллекция |
| Subjects | алгоритм оптимизации ; градиентный спуск ; MNIST ; LSTM ; нейронная сеть ; глубокое обучение ; optimization algorithm ; gradient descent ; neural network ; deep learning |
| Document type | Bachelor graduation qualification work |
| File type | |
| Language | Russian |
| Level of education | Bachelor |
| Speciality code (FGOS) | 09.03.04 |
| Speciality group (FGOS) | 090000 - Информатика и вычислительная техника |
| Links | Отзыв руководителя ; Отчет о проверке на объем и корректность внешних заимствований |
| DOI | 10.18720/SPBPU/3/2020/vr/vr20-1231 |
| Rights | Доступ по паролю из сети Интернет (чтение, печать, копирование) |
| Record key | ru\spstu\vkr\6532 |
| Record create date | 7/10/2020 |
Allowed Actions
–
Action 'Read' will be available if you login or access site from another network
Action 'Download' will be available if you login or access site from another network
| Group | Anonymous |
|---|---|
| Network | Internet |
Данная работа посвящена исследованию алгоритмов оптимизации в методах машинного обучения. Целью работы является выявление наилучших алгоритмов оптимизации. Проведен обзор алгоритмов оптимизации, которые используются в моделях глубокого обучения. Реализованы предложенные алгоритмы оптимизации. Исследован набор тестов для сравнения различных методов.
This work is devoted to the study of optimization algorithms in machine learning methods. The aim of the work is to identify the best optimization algorithms. The optimization algorithms used in deep learning models are reviewed. The proposed optimization algorithms are implemented. The set of tests for comparing different methods is investigated.
| Network | User group | Action |
|---|---|---|
| ILC SPbPU Local Network | All |
|
| Internet | Authorized users SPbPU |
|
| Internet | Anonymous |
|
- Перечень рисунков
- Перечень таблиц
- Сокращения
- Введение
- Глава 1. Обзор литературы
- 1.1. Алгоритмы оптимизации, основанные на импульсе
- 1.1.1. Классический градиентный спуск
- 1.1.2. Классический импульс
- 1.1.3. Импульс Нестерова
- 1.2. Адаптивные алгоритмы оптимизации
- 1.2.1. Адаптивный субградиентный спуск
- 1.2.2. Алгоритм оптимизации RMSProp
- 1.3. Комбинации алгоритмов
- 1.3.1. Adam
- 1.3.2. AdaMax
- 1.4. Методы
- 1.3. Комбинации алгоритмов
- 1.4.1. Модифицированный NAG
- 1.4.2. NAG совместно с Adam
- 1.5. Выводы
- Глава 2. Реализация
- 2.1. Библиотека Keras
- 2.2. Реализация алгоритма оптимизации Nadam
- 2.3. Эксперименты
- 2.3.1. Распознавание изображений MNIST
- 2.3.2. Языковая модель LSTM
- 2.4. Выводы
- Глава 3. Результаты.
- 3.1. Распознавание изображений MNIST
- 3.2. Языковая модель LSTM
- 3.2. Сравнение алгоритмов оптимизации
- 3.4. Выводы
- Заключение
- Список использованных источников
- Приложение 1
- Приложение 2
- Приложение 3
- m = self.get_slot(var, 'm')
- v = self.get_slot(var, 'v')
- Приложение 4
Access count: 43
Last 30 days: 0
