Details

Title: Исследование применимости методов дистилляции знаний для создания высокоэффективных нейронных сетей: выпускная квалификационная работа бакалавра: направление 15.03.06 «Мехатроника и робототехника» ; образовательная программа 15.03.06_04 «Автономные роботы»
Creators: Николаева Эльвира Сергеевна
Scientific adviser: Бахшиев Александр Валерьевич
Organization: Санкт-Петербургский политехнический университет Петра Великого. Институт машиностроения, материалов и транспорта
Imprint: Санкт-Петербург, 2022
Collection: Выпускные квалификационные работы; Общая коллекция
Subjects: нейронная сеть; дистилляция знаний; глубокое обучение; квантизация нейросетей; neural network; knowledge distillation; deep learning; neural network quantization
Document type: Bachelor graduation qualification work
File type: PDF
Language: Russian
Level of education: Bachelor
Speciality code (FGOS): 15.03.06
Speciality group (FGOS): 150000 - Машиностроение
DOI: 10.18720/SPBPU/3/2022/vr/vr22-3125
Rights: Доступ по паролю из сети Интернет (чтение, печать, копирование)
Additionally: New arrival
Record key: ru\spstu\vkr\19554

Allowed Actions:

Action 'Read' will be available if you login or access site from another network Action 'Download' will be available if you login or access site from another network

Group: Anonymous

Network: Internet

Annotation

Цель работы заключается в исследовании применимости методов дистилляции знаний для создания высокоэффективных нейронных сетей. Объект исследования – дистилляция знаний нейронных сетей. В работе проведен обзор классических методов сжатия, методов, использующих фиксированную структуру нейросети ученика, и методов, учитывающих структурные знания при поиске архитектур нейросетей учеников в дистилляции знаний. Также проведен аналитический обзор рассмотренных методов дистилляции знаний. Проведено экспериментальное сравнение методов самостоятельного обучения, классического сжатия и дистилляции знаний нейросетей в рамках решения задачи классификации изображений на стандартных наборах данных CIFAR-10 и CIFAR-100. По итогам тестов составлены таблицы сравнения точности и быстродействия нейросетей, полученных с помощью рассматриваемых методов.

The goal of the work is to investigate the applicability of knowledge distillation methods to create high-performance neural networks. The object of the study is knowledge distillation of neural networks. In this paper, are reviewed the classical methods of compression, methods that use a fixed structure of the student neural network, and methods that take into account the structural knowledge in the search for student neural network architectures in the knowledge distillation. An analytical review of the reviewed knowledge distillation methods was also conducted. Experimental comparison of self-learning methods, classical compression and knowledge distillation methods for neural networks in the context of the image classification problem on the standard data sets CIFAR-10 and CIFAR-100 has been conducted. Based on the results of the tests, the tables comparing the accuracy and performance of neural networks obtained using the methods under consideration is compiled.

Document access rights

Network User group Action
ILC SPbPU Local Network All Read Print Download
External organizations N2 All Read
External organizations N1 All
Internet Authorized users SPbPU Read Print Download
Internet Authorized users (not from SPbPU, N2) Read
Internet Authorized users (not from SPbPU, N1)
-> Internet Anonymous

Usage statistics

stat Access count: 1
Last 30 days: 0
Detailed usage statistics