Детальная информация

В данной работе рассмотрены форматы машинных чисел с плавающей точкой пониженной разрядности – FP16, BF16, Posit16 и выполнен анализ эффективности их применения для обучения нейронных сетей. Были решены следующие задачи: 1. Изучение технических характеристик форматов машинных чисел с плавающей точкой: FP32, FP16, BF16 и Posit16. 2. Выбор программных средств и реализация комплекса моделей вычислений с исследуемыми форматами машинных чисел. 3. Проведение экспериментов на различных форматах с плавающей точкой для решения задачи классификации изображений и последующее тестирование полученных результатов на новом наборе данных. 4. Оценка и сравнение полученных показателей эффективности, таких как точность предсказаний, время обучения и использование памяти, визуализация результатов. Работа выполнялась с использованием фреймворка PyTorch и библиотек QPyTorch и Qtorch+ для работы с арифметиками пониженной точности и форматом Posit. В результате выполнения работы был проведен ряд экспериментов по обучению искусственной нейронной сети с форматами машинных чисел с плавающей точкой. Получены оценки точности (accuracy), времени обучения и затрат памяти.

This paper examines the low-precision floating-point machine number formats – FP16, BF16, Posit16 and analyzes the effectiveness of their use for training neural networks. The following tasks were solved: 1. Study the technical characteristics of floating-point formats: FP32, FP16, BF16 and Posit16. 2. Selection of software tools and implementation of a set of calculation models with the studied machine number formats. 3. Conducting experiments on various floating-point formats to solve the problem of image classification and then testing the results obtained on a new data set. 4. Evaluate and compare the obtained performance indicators, such as accuracy, training time and memory use, and visualize the results. The work was done using the PyTorch framework and the QPyTorch and Qtorch+ libraries for working with reduced precision arithmetic and the Posit format. As a result of the work, a number of experiments were carried out on training an artificial neural network with floating-point machine number formats. Estimates of accuracy, training time and memory costs were obtained.