Details

Работа посвящена разработке и экспериментальному сравнению мультимодальных моделей-классификаторов над двумя последовательностями векторов латентных пространств. Предметом исследования являются зарегистрированные с помощью миниатюрной флуоресцентной микроскопии популяции нейронов гиппокампа мыши и синхронизированные с ними видеозаписи поведения животного. Цель работы — сравнить подходы к слиянию закодированных данных и сопоставить результаты мультимодальной модели с одномодальным подходом применительно к задаче бинарной классификации мышей линий 5xFAD (модель болезни Альцгеймера) и WT (дикий тип). В работе использованы методы глубокого обучения: рекуррентные сети (LSTM) и механизм кросс-внимания. Реализованы и сопоставлены два метода слияния: наивная конкатенация с последующей обработкой LSTM и усовершенствованное двунаправленное кросс-внимание. По результатам кросс–валидации с разбиением по животным модель на базе кросс-внимания достигает средней точности около 86 % против 78 % у наивной модели и заметно надёжнее распознаёт фенотип 5xFAD. Полученные результаты свидетельствуют о наличии информативной связи между нейрональной активностью и поведением животного с точки зрения выявления нейродегенеративных изменений. Результаты могут быть применены при диагностике нейродегенеративных заболеваний у лабораторных животных и при оценке эффективности лекарственных препаратов.

The thesis is devoted to the development and experimental comparison of multimodal classifier models operating over two sequences of latent-space vectors. The subject of the study is hippocampal neuronal populations of a mouse recorded with miniature fluorescence microscopy together with synchronized video recordings of the animal’s behavior. The aim is to compare approaches to fusing the encoded data and to contrast the multimodal model with a unimodal approach for the binary classification of 5xFAD mice (an Alzheimer’s disease model) and WT mice (wild type). Deep learning methods are used: recurrent networks (LSTM) and the cross-attention mechanism. Two fusion methods are implemented and compared: naive concatenation followed by an LSTM, and an improved bidirectional cross-attention scheme. According to cross-validation with a per-animal split, the cross-attention model reaches a mean accuracy of about 86 % versus 78 % for the naive model and recognizes the 5xFAD phenotype noticeably more reliably. The results indicate an informative relationship between neuronal activity and behavior with respect to detecting neurodegenerative changes. The results can be applied to the diagnosis of neurodegenerative diseases in laboratory animals and to the evaluation of drug efficacy.