Details

Title Исследование применимости методов дистилляции знаний для создания высокоэффективных нейронных сетей: выпускная квалификационная работа бакалавра: направление 15.03.06 «Мехатроника и робототехника» ; образовательная программа 15.03.06_04 «Автономные роботы»
Creators Николаева Эльвира Сергеевна
Scientific adviser Бахшиев Александр Валерьевич
Organization Санкт-Петербургский политехнический университет Петра Великого. Институт машиностроения, материалов и транспорта
Imprint Санкт-Петербург, 2022
Collection Выпускные квалификационные работы ; Общая коллекция
Subjects нейронная сеть ; дистилляция знаний ; глубокое обучение ; квантизация нейросетей ; neural network ; knowledge distillation ; deep learning ; neural network quantization
Document type Bachelor graduation qualification work
File type PDF
Language Russian
Level of education Bachelor
Speciality code (FGOS) 15.03.06
Speciality group (FGOS) 150000 - Машиностроение
DOI 10.18720/SPBPU/3/2022/vr/vr22-3125
Rights Доступ по паролю из сети Интернет (чтение, печать, копирование)
Record key ru\spstu\vkr\19554
Record create date 12/29/2022

Allowed Actions

Action 'Read' will be available if you login or access site from another network

Action 'Download' will be available if you login or access site from another network

Group Anonymous
Network Internet

Цель работы заключается в исследовании применимости методов дистилляции знаний для создания высокоэффективных нейронных сетей. Объект исследования – дистилляция знаний нейронных сетей. В работе проведен обзор классических методов сжатия, методов, использующих фиксированную структуру нейросети ученика, и методов, учитывающих структурные знания при поиске архитектур нейросетей учеников в дистилляции знаний. Также проведен аналитический обзор рассмотренных методов дистилляции знаний. Проведено экспериментальное сравнение методов самостоятельного обучения, классического сжатия и дистилляции знаний нейросетей в рамках решения задачи классификации изображений на стандартных наборах данных CIFAR-10 и CIFAR-100. По итогам тестов составлены таблицы сравнения точности и быстродействия нейросетей, полученных с помощью рассматриваемых методов.

The goal of the work is to investigate the applicability of knowledge distillation methods to create high-performance neural networks. The object of the study is knowledge distillation of neural networks. In this paper, are reviewed the classical methods of compression, methods that use a fixed structure of the student neural network, and methods that take into account the structural knowledge in the search for student neural network architectures in the knowledge distillation. An analytical review of the reviewed knowledge distillation methods was also conducted. Experimental comparison of self-learning methods, classical compression and knowledge distillation methods for neural networks in the context of the image classification problem on the standard data sets CIFAR-10 and CIFAR-100 has been conducted. Based on the results of the tests, the tables comparing the accuracy and performance of neural networks obtained using the methods under consideration is compiled.

Network User group Action
ILC SPbPU Local Network All
Read Print Download
Internet Authorized users SPbPU
Read Print Download
Internet Anonymous

Access count: 10 
Last 30 days: 1

Detailed usage statistics