Детальная информация

Цель данной работы заключается в изучении и анализе процессов, которые происходят между слоями в многослойных сверточных нейронных сетях. В ходе исследования были собраны данные об активациях, весах и градиентах сети. Для статистического анализа эти данные были визуализированы в виде графиков и диаграмм рассеяния, а для топологического анализа были использованы персистентные диаграммы. Одной из основных задач исследования было применение статистических и топологических инвариантов для оценки эффективности обучения и проблемы переобучения в многослойных нейронных сетях. Кроме того, исследование также включало исследование других параметров, основанных на динамике межслойных процессов. Гипотеза работы состояла в том, что в начале обучения нейронная сеть имеет значительные колебания в межслойных процессах из-за существенных изменений в весах и активациях слоев. По мере обучения эти колебания должны уменьшаться, что свидетельствует об успешном обучении сети. В работе использовались следующие датасеты для обучения сверточных нейронных сетей:  MNIST: набор данных для распознавания рукописных цифр, состоящий из 60 000 обучающих и 10 000 тестовых изображений размером 28x28 пикселей.  Cats vs Dogs (Kaggle): набор данных с изображениями кошек и собак для задачи классификации. Основные задачи, решаемые в работе, включали: 1. Изучение архитектуры сверточных нейронных сетей и процесса их обучения с целью классификации данных. В рамках этой задачи проводился анализ различных архитектур нейронных сетей и методов их обучения, с акцентом на задачу классификации. 2. Разработка программного продукта на языке Python, который выполнял функции подготовки данных для обучения нейронных сетей, извлечения статистических данных в процессе обучения для анализа взаимодействия между слоями сети, а также построения графиков, диаграмм рассеяния и диаграмм персистентности для визуализации полученных данных. 3. Обучение сверточных нейронных сетей на подготовленных наборах данных. В этой задаче проводилось обучение нейронных сетей с использованием различных архитектур и методов обучения на рассмотренных в работе наборах данных с целью классификации изображений. 4. Анализ полученных статистических данных с использованием методов топологического анализа. В рамках этой задачи проводился анализ полученных статистических данных с использованием методов топологического анализа для выявления статистических и топологических инвариантов, аномалий и других характеристик. 5. Сопоставление результатов анализа межслойных процессов с общепринятыми признаками обученности нейронной сети для классификации данных. В этой задаче проводилось сопоставление полученных результатов анализа межслойных процессов с известными признаками, характеризующими обученность нейронной сети для задачи классификации данных. В результате работы были выявлены признаки, статистические и топологические инварианты, которые подтверждают предположения исследования. Кроме того, были обнаружены дополнительные признаки, которые могут быть использованы для дальнейшего анализа процесса обучения сверточных нейронных сетей.

The objective of this research is to study and analyze the processes that occur between layers in multilayer convolutional neural networks. During the investigation, data on activations, weights, and gradients of the network were collected. For statistical analysis, these data were visualized using graphs and scatter plots, while persistent diagrams were used for topological analysis. One of the main objectives of this research was to apply statistical and topological invariants to assess the effectiveness of training and the problem of overfitting in multilayer neural networks. Additionally, the study involved examining other parameters based on the dynamics of interlayer processes. The hypothesis of this work posited that at the beginning of training, the neural network exhibits significant fluctuations in interlayer processes due to substantial changes in weights and activations of the layers. As training progresses, these fluctuations should diminish, indicating successful network learning. The following datasets were used for training the convolutional neural networks:  MNIST: A dataset for handwritten digit recognition, consisting of 60,000 training and 10,000 test images of size 28x28 pixels.  Cats vs Dogs (Kaggle): A dataset with images of cats and dogs for classification tasks. The main tasks addressed in this work included: 1. Investigation of the architecture of convolutional neural networks and the training process for data classification. This task involved analyzing various network architectures and training methods, with a focus on classification tasks. 2. Development of a Python software product that performs data preprocessing for neural network training, extraction of statistical data during training to analyze interlayer interactions, and construction of graphs, scatter plots, and persistent diagrams for data visualization. 3. Training of convolutional neural networks on prepared datasets. This task involved training neural networks using different architectures and training methods on the datasets considered in the work, aiming for image classification. 4. Analysis of the obtained statistical data using topological analysis methods. This task encompassed analyzing the collected statistical data using topological analysis methods to identify statistical and topological invariants, anomalies, and other characteristics. 5. Comparison of the results of interlayer process analysis with commonly accepted indicators of network learning for data classification. This task involved comparing the obtained results of interlayer process analysis with known indicators characterizing the networks learning state for data classification tasks. As a result of this work, features, statistical invariants, and topological invariants were identified that confirm the hypotheses of the research. Additionally, additional features were discovered that can be utilized for further analysis of the training process in convolutional neural networks.