Цель работы заключается в исследовании применимости методов дистилляции знаний для создания высокоэффективных нейронных сетей. Объект исследования – дистилляция знаний нейронных сетей. В работе проведен обзор классических методов сжатия, методов, использующих фиксированную структуру нейросети ученика, и методов, учитывающих структурные знания при поиске архитектур нейросетей учеников в дистилляции знаний. Также проведен аналитический обзор рассмотренных методов дистилляции знаний. Проведено экспериментальное сравнение методов самостоятельного обучения, классического сжатия и дистилляции знаний нейросетей в рамках решения задачи классификации изображений на стандартных наборах данных CIFAR-10 и CIFAR-100. По итогам тестов составлены таблицы сравнения точности и быстродействия нейросетей, полученных с помощью рассматриваемых методов.

The goal of the work is to investigate the applicability of knowledge distillation methods to create high-performance neural networks. The object of the study is knowledge distillation of neural networks. In this paper, are reviewed the classical methods of compression, methods that use a fixed structure of the student neural network, and methods that take into account the structural knowledge in the search for student neural network architectures in the knowledge distillation. An analytical review of the reviewed knowledge distillation methods was also conducted. Experimental comparison of self-learning methods, classical compression and knowledge distillation methods for neural networks in the context of the image classification problem on the standard data sets CIFAR-10 and CIFAR-100 has been conducted. Based on the results of the tests, the tables comparing the accuracy and performance of neural networks obtained using the methods under consideration is compiled.