Details

Title: Автоматическое распознавание реакции мозга в задаче понимания естественного языка: выпускная квалификационная работа магистра: направление 09.04.01 «Информатика и вычислительная техника» ; образовательная программа 09.04.01_15 «Технологии проектирования системного и прикладного программного обеспечения»
Creators: Мальцев Михаил Сергеевич
Scientific adviser: Богач Наталья Владимировна
Other creators: Новопашенный Андрей Гелиевич
Organization: Санкт-Петербургский политехнический университет Петра Великого. Институт компьютерных наук и технологий
Imprint: Санкт-Петербург, 2021
Collection: Выпускные квалификационные работы; Общая коллекция
Subjects: Нейронные сети; свёрточные нейронные сети; ФМРТ; исследования мозга; рекурентные нейронные сети; речевая деятельность
UDC: 004.032.26
LBC: 88.251; 87.256.641
Document type: Master graduation qualification work
File type: PDF
Language: Russian
Level of education: Master
Speciality code (FGOS): 09.04.01
Speciality group (FGOS): 090000 - Информатика и вычислительная техника
Links: Отзыв руководителя; Рецензия; Отчет о проверке на объем и корректность внешних заимствований
DOI: 10.18720/SPBPU/3/2021/vr/vr21-691
Rights: Доступ по паролю из сети Интернет (чтение, печать, копирование)
Record key: ru\spstu\vkr\11721

Allowed Actions:

Action 'Read' will be available if you login or access site from another network Action 'Download' will be available if you login or access site from another network

Group: Anonymous

Network: Internet

Annotation

Тема выпускной квалификационной работы: «Автоматическое распознавание реакции мозга в задаче понимания естественного языка». С активным развитием методов исследования мозга, основанных на ФМРТ, появилась возможность исследовать реакции мозга в задаче понимания естественного языка. В данной работе исследуется возможность применения сверточных нейронных сетей к цельному ФМРТ снимку с целью выявления паттернов активации на наборы слов. В качестве набора данных используется Alice Dataset, который состоит из ФМРТ снимков участников под воздействием непрерывного натуралистического аудиостимула и его разметки, сделанной лингвистами. Результаты, полученные в работе, подтверждают возможность детектирования слов на основании ФМРТ снимков, а низкую точность можно объяснить ограниченным набором и сильной зашумленностью данных.

The subject of the graduate qualification work is «Automatic recognition of the brain's response for natural language comprehension». With the rapid development of FMRI-based brain research methods, it has become possible to study the brain's responses to the task of understanding natural language. In this paper, we investigate the possibility of applying convolutional neural networks to a whole FMRI image in order to identify activation patterns on word sets. The Alice Dataset is used as a data set, which consists of FMRI images of participants under the influence of a continuous naturalistic audio stimulus and its markup made by linguists. The results obtained in the work confirm the possibility of detecting words based on FMRI images, and the low accuracy can be explained by a limited set and a strong noise level of the data.

Document access rights

Network User group Action
ILC SPbPU Local Network All Read Print Download
External organizations N2 All Read
External organizations N1 All
Internet Authorized users SPbPU Read Print Download
Internet Authorized users (not from SPbPU, N2) Read
Internet Authorized users (not from SPbPU, N1)
-> Internet Anonymous

Table of Contents

  • ВВЕДЕНИЕ
  • 1. Обзор методов исследования и подходов к задаче отображения естественного языка в мозге человека
    • 1.1. Методы исследования мозга
    • 1.2. ФМРТ
    • 1.3. Глубокое обучение в контексте применения к ФМРТ данным
      • 1.3.1. Сверточные нейронные сети
      • 1.3.2. Рекурентные нейронные сети
    • 1.4. Особенности обработки слов
      • 1.4.1. Конкретные и абстрактные слова
      • 1.4.2. Глаголы и существительные
      • 1.4.3. Путь к универсальному декодеру
    • 1.5. Выводы
  • 2. Структура и состав открытого набора ФМРТ данных Alice Dataset, полученных под действием речевого стимула
    • 2.1. Состав участников и способ получения ФМРТ данных в Alice Dataset
    • 2.2. Предварительная обработка ФМРТ снимков
    • 2.3. Структура набора данных
    • 2.4. Опубликованные работы c рассматриваемым набором данных
    • 2.5. Выводы
  • 3. Разработка модели и анализ результатов классификатора реакций мозга под действием речевого стимула
    • 3.1. Постановка задачи
    • 3.2. Выбор инструментов и настройка рабочего окружения
      • 3.2.1. Nilearn
      • 3.2.2. Keras
      • 3.2.3. Рабочее окружение
    • 3.3. Выбор арихтектуры нейронной сети
    • 3.4. Исследование и автоматическая классификация реакций на ключевые слова
      • 3.4.1. Процедура обучения нейронной сети
      • 3.4.2. Ограничения и проблемы зашумленности данных
      • 3.4.3. Результаты
      • 3.4.4. Сравнение результатов с результатами, полученными в работах со схожей тематикой
    • 3.5. Выводы
  • ЗАКЛЮЧЕНИЕ
  • СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
  • ПРИЛОЖЕНИЕ. ЛИСТИНГИ

Usage statistics

stat Access count: 9
Last 30 days: 0
Detailed usage statistics