Details

Title: Генерация нетехнического резюме для научно-исследовательских статей на основе нейросетей: выпускная квалификационная работа бакалавра: направление 09.03.01 «Информатика и вычислительная техника» ; образовательная программа 09.03.01_02 «Технологии разработки программного обеспечения»
Creators: Середин Константин Валерьевич
Scientific adviser: Никитин Кирилл Вячеславович
Other creators: Нестеров Сергей Александрович
Organization: Санкт-Петербургский политехнический университет Петра Великого. Институт компьютерных наук и технологий
Imprint: Санкт-Петербург, 2021
Collection: Выпускные квалификационные работы; Общая коллекция
Subjects: автоматическое реферирование; предварительная обработка данных; шифратор-дешифратор модель; transformer архитектура; t5; rouge; automatic summarization; data pre-processing; encoder-decoder model; transformer architecture
Document type: Bachelor graduation qualification work
File type: PDF
Language: Russian
Level of education: Bachelor
Speciality code (FGOS): 09.03.01
Speciality group (FGOS): 090000 - Информатика и вычислительная техника
Links: Отзыв руководителя; Рецензия; Отчет о проверке на объем и корректность внешних заимствований
DOI: 10.18720/SPBPU/3/2021/vr/vr21-747
Rights: Доступ по паролю из сети Интернет (чтение, печать, копирование)
Record key: ru\spstu\vkr\11745

Allowed Actions:

Action 'Read' will be available if you login or access site from another network Action 'Download' will be available if you login or access site from another network

Group: Anonymous

Network: Internet

Annotation

В данной выпускной квалификационной работе описан процесс разработки системы для генерации нетехнического резюме из научно -исследовательских статей. В первом разделе изложен обзор подходов в области обработки естественного языка. На основе выбранного подхода рассматриваются преимущества существующих нейронных моделей и выбирается наиболее подходящая в соответствии с приведенными критериями. В последующих разделах описывается процесс разработки системы для решения поставленной задачи. Приводится архитектура выбранной модели, используемые алгоритмы обучения и способы предобработки данных. Далее обосновывается выбор библиотек и описываются этапы установки и настройки среды. В последнем разделе приводится описание методик оценивания и процесса изменения гиперпараметров в модели. В конце раздела приведены сгенерированные резюме и выводы сделанные, на основании оценок, полученных от рецензентов.

This final qualification paper describes the process of developing a system for generating lay summaries from scientific articles. The first section provides an overview of approaches to natural language processing. Based on the chosen approach, the advantages of existing neural models are considered and the most suitable one is selected in accordance with the specified criteria. The following sections describe the process of developing a system to solve this problem. The architecture of the selected model, the training algorithms used, and the data preprocessing methods are described. At the same time, the selected libraries are explained and the steps for installing and configuring the environment are described. The last section describes the evaluation methods and the process of changing the hyperparameters of the model. At the end of the section, the generated lay summaries and conclusions based on the ratings received from the reviewers are presented.

Document access rights

Network User group Action
ILC SPbPU Local Network All Read Print Download
External organizations N2 All Read
External organizations N1 All
Internet Authorized users SPbPU Read Print Download
Internet Authorized users (not from SPbPU, N2) Read
Internet Authorized users (not from SPbPU, N1)
-> Internet Anonymous

Table of Contents

  • ВВЕДЕНИЕ
  • 1. Обзор и сравнительный анализ области обработки естественного языка
    • 1.1. Обзор существующих подходов в NLP
      • 1.1.1. Методы основанные на правилах
      • 1.1.2. Традиционное машинное обучение
      • 1.1.3. Специализированные нейронные сети и глубокое обучение
    • 1.2. Обзор существующих подходов автоматического реферирования
      • 1.2.1. Краткое описание архитектуры "Transformer"
    • 1.3. Показатели качества моделей
    • 1.4. Обзор современных моделей
      • 1.4.1. Модель BERT
      • 1.4.2. Модель GPT
      • 1.4.3. Модель BART
      • 1.4.4. Модель PEGASUS
      • 1.4.5. Модель ProphetNet
      • 1.4.6. Модель T5
    • 1.5. Сравнительный анализ моделей
  • 2. Описание подхода для решения поставленной задачи
    • 2.1. Подходы и алгоритмы предобработки
    • 2.2. Описание модели
      • 2.2.1. Эмбеддинг
      • 2.2.2. Архитектура модели
      • 2.2.3. Векторное представление
    • 2.3. Показатели качества
  • 3. Реализация системы генерации нетехнического резюме
    • 3.1. Выбор инструментальных средств
    • 3.2. Установка и настройка среды
    • 3.3. Набор данных
    • 3.4. Предобработка и преобразование текста
    • 3.5. Создание модели
    • 3.6. Алгоритмы обучения
      • 3.6.1. Обучение модели
      • 3.6.2. Настройка модели
    • 3.7. Использование модели
  • 4. Тестирование и анализ результатов
    • 4.1. Программа тестирования
    • 4.2. Методика тестирования
    • 4.3. Выбор наиболее подходящего подхода
    • 4.4. Результат генерации
  • ЗАКЛЮЧЕНИЕ
  • СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
  • ПРИЛОЖЕНИЕ 1. Подготовка среды
  • ПРИЛОЖЕНИЕ 2. Сравнение методов экстракции
  • ПРИЛОЖЕНИЕ 3. Предварительная обработка текста
  • ПРИЛОЖЕНИЕ 4. Представление данных в формате TSV
  • ПРИЛОЖЕНИЕ 5. Создание задачи
  • ПРИЛОЖЕНИЕ 6. Создание модели
  • ПРИЛОЖЕНИЕ 7. Обучение и экспорт модели
  • ПРИЛОЖЕНИЕ 8. Использование модели

Usage statistics

stat Access count: 9
Last 30 days: 1
Detailed usage statistics