Детальная информация

Название: Автоматическое распознавание реакции мозга в задаче понимания естественного языка: выпускная квалификационная работа магистра: направление 09.04.01 «Информатика и вычислительная техника» ; образовательная программа 09.04.01_15 «Технологии проектирования системного и прикладного программного обеспечения»
Авторы: Мальцев Михаил Сергеевич
Научный руководитель: Богач Наталья Владимировна
Другие авторы: Новопашенный Андрей Гелиевич
Организация: Санкт-Петербургский политехнический университет Петра Великого. Институт компьютерных наук и технологий
Выходные сведения: Санкт-Петербург, 2021
Коллекция: Выпускные квалификационные работы; Общая коллекция
Тематика: Нейронные сети; свёрточные нейронные сети; ФМРТ; исследования мозга; рекурентные нейронные сети; речевая деятельность
УДК: 004.032.26
ББК: 88.251; 87.256.641
Тип документа: Выпускная квалификационная работа магистра
Тип файла: PDF
Язык: Русский
Уровень высшего образования: Магистратура
Код специальности ФГОС: 09.04.01
Группа специальностей ФГОС: 090000 - Информатика и вычислительная техника
Ссылки: Отзыв руководителя; Рецензия; Отчет о проверке на объем и корректность внешних заимствований
DOI: 10.18720/SPBPU/3/2021/vr/vr21-691
Права доступа: Доступ по паролю из сети Интернет (чтение, печать, копирование)
Ключ записи: ru\spstu\vkr\11721

Разрешенные действия:

Действие 'Прочитать' будет доступно, если вы выполните вход в систему или будете работать с сайтом на компьютере в другой сети Действие 'Загрузить' будет доступно, если вы выполните вход в систему или будете работать с сайтом на компьютере в другой сети

Группа: Анонимные пользователи

Сеть: Интернет

Аннотация

Тема выпускной квалификационной работы: «Автоматическое распознавание реакции мозга в задаче понимания естественного языка». С активным развитием методов исследования мозга, основанных на ФМРТ, появилась возможность исследовать реакции мозга в задаче понимания естественного языка. В данной работе исследуется возможность применения сверточных нейронных сетей к цельному ФМРТ снимку с целью выявления паттернов активации на наборы слов. В качестве набора данных используется Alice Dataset, который состоит из ФМРТ снимков участников под воздействием непрерывного натуралистического аудиостимула и его разметки, сделанной лингвистами. Результаты, полученные в работе, подтверждают возможность детектирования слов на основании ФМРТ снимков, а низкую точность можно объяснить ограниченным набором и сильной зашумленностью данных.

The subject of the graduate qualification work is «Automatic recognition of the brain's response for natural language comprehension». With the rapid development of FMRI-based brain research methods, it has become possible to study the brain's responses to the task of understanding natural language. In this paper, we investigate the possibility of applying convolutional neural networks to a whole FMRI image in order to identify activation patterns on word sets. The Alice Dataset is used as a data set, which consists of FMRI images of participants under the influence of a continuous naturalistic audio stimulus and its markup made by linguists. The results obtained in the work confirm the possibility of detecting words based on FMRI images, and the low accuracy can be explained by a limited set and a strong noise level of the data.

Права на использование объекта хранения

Место доступа Группа пользователей Действие
Локальная сеть ИБК СПбПУ Все Прочитать Печать Загрузить
Внешние организации №2 Все Прочитать
Внешние организации №1 Все
Интернет Авторизованные пользователи СПбПУ Прочитать Печать Загрузить
Интернет Авторизованные пользователи (не СПбПУ, №2) Прочитать
Интернет Авторизованные пользователи (не СПбПУ, №1)
-> Интернет Анонимные пользователи

Оглавление

  • ВВЕДЕНИЕ
  • 1. Обзор методов исследования и подходов к задаче отображения естественного языка в мозге человека
    • 1.1. Методы исследования мозга
    • 1.2. ФМРТ
    • 1.3. Глубокое обучение в контексте применения к ФМРТ данным
      • 1.3.1. Сверточные нейронные сети
      • 1.3.2. Рекурентные нейронные сети
    • 1.4. Особенности обработки слов
      • 1.4.1. Конкретные и абстрактные слова
      • 1.4.2. Глаголы и существительные
      • 1.4.3. Путь к универсальному декодеру
    • 1.5. Выводы
  • 2. Структура и состав открытого набора ФМРТ данных Alice Dataset, полученных под действием речевого стимула
    • 2.1. Состав участников и способ получения ФМРТ данных в Alice Dataset
    • 2.2. Предварительная обработка ФМРТ снимков
    • 2.3. Структура набора данных
    • 2.4. Опубликованные работы c рассматриваемым набором данных
    • 2.5. Выводы
  • 3. Разработка модели и анализ результатов классификатора реакций мозга под действием речевого стимула
    • 3.1. Постановка задачи
    • 3.2. Выбор инструментов и настройка рабочего окружения
      • 3.2.1. Nilearn
      • 3.2.2. Keras
      • 3.2.3. Рабочее окружение
    • 3.3. Выбор арихтектуры нейронной сети
    • 3.4. Исследование и автоматическая классификация реакций на ключевые слова
      • 3.4.1. Процедура обучения нейронной сети
      • 3.4.2. Ограничения и проблемы зашумленности данных
      • 3.4.3. Результаты
      • 3.4.4. Сравнение результатов с результатами, полученными в работах со схожей тематикой
    • 3.5. Выводы
  • ЗАКЛЮЧЕНИЕ
  • СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
  • ПРИЛОЖЕНИЕ. ЛИСТИНГИ

Статистика использования

stat Количество обращений: 8
За последние 30 дней: 1
Подробная статистика