Details
Title | Исследование применимости методов дистилляции знаний для создания высокоэффективных нейронных сетей: выпускная квалификационная работа бакалавра: направление 15.03.06 «Мехатроника и робототехника» ; образовательная программа 15.03.06_04 «Автономные роботы» |
---|---|
Creators | Николаева Эльвира Сергеевна |
Scientific adviser | Бахшиев Александр Валерьевич |
Organization | Санкт-Петербургский политехнический университет Петра Великого. Институт машиностроения, материалов и транспорта |
Imprint | Санкт-Петербург, 2022 |
Collection | Выпускные квалификационные работы ; Общая коллекция |
Subjects | нейронная сеть ; дистилляция знаний ; глубокое обучение ; квантизация нейросетей ; neural network ; knowledge distillation ; deep learning ; neural network quantization |
Document type | Bachelor graduation qualification work |
File type | |
Language | Russian |
Level of education | Bachelor |
Speciality code (FGOS) | 15.03.06 |
Speciality group (FGOS) | 150000 - Машиностроение |
DOI | 10.18720/SPBPU/3/2022/vr/vr22-3125 |
Rights | Доступ по паролю из сети Интернет (чтение, печать, копирование) |
Record key | ru\spstu\vkr\19554 |
Record create date | 12/29/2022 |
Allowed Actions
–
Action 'Read' will be available if you login or access site from another network
Action 'Download' will be available if you login or access site from another network
Group | Anonymous |
---|---|
Network | Internet |
Цель работы заключается в исследовании применимости методов дистилляции знаний для создания высокоэффективных нейронных сетей. Объект исследования – дистилляция знаний нейронных сетей. В работе проведен обзор классических методов сжатия, методов, использующих фиксированную структуру нейросети ученика, и методов, учитывающих структурные знания при поиске архитектур нейросетей учеников в дистилляции знаний. Также проведен аналитический обзор рассмотренных методов дистилляции знаний. Проведено экспериментальное сравнение методов самостоятельного обучения, классического сжатия и дистилляции знаний нейросетей в рамках решения задачи классификации изображений на стандартных наборах данных CIFAR-10 и CIFAR-100. По итогам тестов составлены таблицы сравнения точности и быстродействия нейросетей, полученных с помощью рассматриваемых методов.
The goal of the work is to investigate the applicability of knowledge distillation methods to create high-performance neural networks. The object of the study is knowledge distillation of neural networks. In this paper, are reviewed the classical methods of compression, methods that use a fixed structure of the student neural network, and methods that take into account the structural knowledge in the search for student neural network architectures in the knowledge distillation. An analytical review of the reviewed knowledge distillation methods was also conducted. Experimental comparison of self-learning methods, classical compression and knowledge distillation methods for neural networks in the context of the image classification problem on the standard data sets CIFAR-10 and CIFAR-100 has been conducted. Based on the results of the tests, the tables comparing the accuracy and performance of neural networks obtained using the methods under consideration is compiled.
Network | User group | Action |
---|---|---|
ILC SPbPU Local Network | All |
|
Internet | Authorized users SPbPU |
|
Internet | Anonymous |
|
Access count: 10
Last 30 days: 1