Тема выпускной квалификационной работы: «Автоматическое распознавание реакции мозга в задаче понимания естественного языка». С активным развитием методов исследования мозга, основанных на ФМРТ, появилась возможность исследовать реакции мозга в задаче понимания естественного языка. В данной работе исследуется возможность применения сверточных нейронных сетей к цельному ФМРТ снимку с целью выявления паттернов активации на наборы слов. В качестве набора данных используется Alice Dataset, который состоит из ФМРТ снимков участников под воздействием непрерывного натуралистического аудиостимула и его разметки, сделанной лингвистами. Результаты, полученные в работе, подтверждают возможность детектирования слов на основании ФМРТ снимков, а низкую точность можно объяснить ограниченным набором и сильной зашумленностью данных.

The subject of the graduate qualification work is «Automatic recognition of the brain's response for natural language comprehension». With the rapid development of FMRI-based brain research methods, it has become possible to study the brain's responses to the task of understanding natural language. In this paper, we investigate the possibility of applying convolutional neural networks to a whole FMRI image in order to identify activation patterns on word sets. The Alice Dataset is used as a data set, which consists of FMRI images of participants under the influence of a continuous naturalistic audio stimulus and its markup made by linguists. The results obtained in the work confirm the possibility of detecting words based on FMRI images, and the low accuracy can be explained by a limited set and a strong noise level of the data.

• ВВЕДЕНИЕ
• 1. Обзор методов исследования и подходов к задаче отображения естественного языка в мозге человека
  • 1.1. Методы исследования мозга
  • 1.2. ФМРТ
  • 1.3. Глубокое обучение в контексте применения к ФМРТ данным
    • 1.3.1. Сверточные нейронные сети
    • 1.3.2. Рекурентные нейронные сети
  • 1.4. Особенности обработки слов
    • 1.4.1. Конкретные и абстрактные слова
    • 1.4.2. Глаголы и существительные
    • 1.4.3. Путь к универсальному декодеру
  • 1.5. Выводы
• 2. Структура и состав открытого набора ФМРТ данных Alice Dataset, полученных под действием речевого стимула
  • 2.1. Состав участников и способ получения ФМРТ данных в Alice Dataset
  • 2.2. Предварительная обработка ФМРТ снимков
  • 2.3. Структура набора данных
  • 2.4. Опубликованные работы c рассматриваемым набором данных
  • 2.5. Выводы
• 3. Разработка модели и анализ результатов классификатора реакций мозга под действием речевого стимула
  • 3.1. Постановка задачи
  • 3.2. Выбор инструментов и настройка рабочего окружения
    • 3.2.1. Nilearn
    • 3.2.2. Keras
    • 3.2.3. Рабочее окружение
  • 3.3. Выбор арихтектуры нейронной сети
  • 3.4. Исследование и автоматическая классификация реакций на ключевые слова
    • 3.4.1. Процедура обучения нейронной сети
    • 3.4.2. Ограничения и проблемы зашумленности данных
    • 3.4.3. Результаты
    • 3.4.4. Сравнение результатов с результатами, полученными в работах со схожей тематикой
  • 3.5. Выводы
• ЗАКЛЮЧЕНИЕ
• СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
• ПРИЛОЖЕНИЕ. ЛИСТИНГИ