Details

Title: Исследование метрик распутанного представления латентного слоя нейронных сетей: выпускная квалификационная работа бакалавра: направление 01.03.02 «Прикладная математика и информатика» ; образовательная программа 01.03.02_02 «Системное программирование»
Creators: Лавриченко Ольга Андреевна
Scientific adviser: Крашенинников Сергей Вениаминович
Other creators: Арефьева Людмила Анатольевна
Organization: Санкт-Петербургский политехнический университет Петра Великого. Институт прикладной математики и механики
Imprint: Санкт-Петербург, 2020
Collection: Выпускные квалификационные работы; Общая коллекция
Subjects: машинное обучение; обучение без учителя; автокодировщик; латентное пространство; глубокое обучение; распутанное представление; machine learning; unsupervised learning; disentanglement representation; autoencoder; deep learning; latent space
Document type: Bachelor graduation qualification work
File type: PDF
Language: Russian
Level of education: Bachelor
Speciality code (FGOS): 01.03.02
Speciality group (FGOS): 010000 - Математика и механика
Links: Отзыв руководителя; Отчет о проверке на объем и корректность внешних заимствований
DOI: 10.18720/SPBPU/3/2020/vr/vr20-1472
Rights: Доступ по паролю из сети Интернет (чтение)
Record key: ru\spstu\vkr\8647

Allowed Actions:

Action 'Read' will be available if you login or access site from another network

Group: Anonymous

Network: Internet

Annotation

Проведенная работа посвящена исследованию зависимости процесса обучения автокодировщиков от набора параметров которыми на абстрактном уровне возможно описать изображения из группы данных для обучения. Если процесс обучения автокодировщика был сведен к тому, что на латентном пространстве автокодировщика все переменные оказались взаимозависимы, а также кодируют абстрактные параметры изображения (например цвет глаз, форма объекта и т.д.), то такая реализация нейросети называется распутанной. Понятие распутанности позволяет: 1. Повышать точность работы автокодировщика 2. Использоваться для сжатия данных 3. Позволяет генерировать реалистичные данные из имеющихся примеров Формальная гипотеза: существует другое признаковое пространство с меньшей размерностью, в котором свойства объекта проявляются лучше, и там где новые признаки поддаются интерпретации. Распутанное представление в настоящее время остается неустановленным. Для этого есть две основные причины: Еще не существует конечного и формального определения распутанности представления Как следствие еще не существует единой метрики для измерения распутанности представления Данная работа ставит под сомнение 3 из этих показателей: FactorVAE, IRS и MIG и выявляет недостатки и компромиссы подхода агрегированного ранжирования. Метрики были подсчитаны с помощью классических методов понижения размерности такие как: метод главных компонент, прямое сжатие изображения, а также с помощью методов глубокого обучения с использованием вариационного автокодировщика.

The related work consists of investigating the autoencoder training process dependency on artificial factors representing and describing the input data. When the latent space totally not correlating itself and all the factors are mapped to the latent space variables (for instance eye color, face shape, etc.) we call such realization the disentangled representation. The disentangling enable to be used as following: 1. Increase the accuracy of trained model 2. To be used for data compression 3. Being able to generate new data relying the existing one There is a hypothesis: the smaller dimensional factor space exists and factors in this space are better describing the data and factors are interpretable Hence the disentangled representation still does not have final determination it is because of no any resolution on disentanglement score set in the scientific society. In this paper the consistency of three existing disentanglement indicators (MIG, FactorVAE, IRS) are declined in a proof of several models such as: PCA, Downsampling, VAE. The combination of metrics and practices proposed in this work.

Document access rights

Network User group Action
ILC SPbPU Local Network All Read
Internet Authorized users SPbPU Read
-> Internet Anonymous

Usage statistics

stat Access count: 8
Last 30 days: 0
Detailed usage statistics