В данной выпускной квалификационной работе описан процесс разработки системы для генерации нетехнического резюме из научно -исследовательских статей. В первом разделе изложен обзор подходов в области обработки естественного языка. На основе выбранного подхода рассматриваются преимущества существующих нейронных моделей и выбирается наиболее подходящая в соответствии с приведенными критериями. В последующих разделах описывается процесс разработки системы для решения поставленной задачи. Приводится архитектура выбранной модели, используемые алгоритмы обучения и способы предобработки данных. Далее обосновывается выбор библиотек и описываются этапы установки и настройки среды. В последнем разделе приводится описание методик оценивания и процесса изменения гиперпараметров в модели. В конце раздела приведены сгенерированные резюме и выводы сделанные, на основании оценок, полученных от рецензентов.

This final qualification paper describes the process of developing a system for generating lay summaries from scientific articles. The first section provides an overview of approaches to natural language processing. Based on the chosen approach, the advantages of existing neural models are considered and the most suitable one is selected in accordance with the specified criteria. The following sections describe the process of developing a system to solve this problem. The architecture of the selected model, the training algorithms used, and the data preprocessing methods are described. At the same time, the selected libraries are explained and the steps for installing and configuring the environment are described. The last section describes the evaluation methods and the process of changing the hyperparameters of the model. At the end of the section, the generated lay summaries and conclusions based on the ratings received from the reviewers are presented.

• ВВЕДЕНИЕ
• 1. Обзор и сравнительный анализ области обработки естественного языка
  • 1.1. Обзор существующих подходов в NLP
    • 1.1.1. Методы основанные на правилах
    • 1.1.2. Традиционное машинное обучение
    • 1.1.3. Специализированные нейронные сети и глубокое обучение
  • 1.2. Обзор существующих подходов автоматического реферирования
    • 1.2.1. Краткое описание архитектуры "Transformer"
  • 1.3. Показатели качества моделей
  • 1.4. Обзор современных моделей
    • 1.4.1. Модель BERT
    • 1.4.2. Модель GPT
    • 1.4.3. Модель BART
    • 1.4.4. Модель PEGASUS
    • 1.4.5. Модель ProphetNet
    • 1.4.6. Модель T5
  • 1.5. Сравнительный анализ моделей
• 2. Описание подхода для решения поставленной задачи
  • 2.1. Подходы и алгоритмы предобработки
  • 2.2. Описание модели
    • 2.2.1. Эмбеддинг
    • 2.2.2. Архитектура модели
    • 2.2.3. Векторное представление
  • 2.3. Показатели качества
• 3. Реализация системы генерации нетехнического резюме
  • 3.1. Выбор инструментальных средств
  • 3.2. Установка и настройка среды
  • 3.3. Набор данных
  • 3.4. Предобработка и преобразование текста
  • 3.5. Создание модели
  • 3.6. Алгоритмы обучения
    • 3.6.1. Обучение модели
    • 3.6.2. Настройка модели
  • 3.7. Использование модели
• 4. Тестирование и анализ результатов
  • 4.1. Программа тестирования
  • 4.2. Методика тестирования
  • 4.3. Выбор наиболее подходящего подхода
  • 4.4. Результат генерации
• ЗАКЛЮЧЕНИЕ
• СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
• ПРИЛОЖЕНИЕ 1. Подготовка среды
• ПРИЛОЖЕНИЕ 2. Сравнение методов экстракции
• ПРИЛОЖЕНИЕ 3. Предварительная обработка текста
• ПРИЛОЖЕНИЕ 4. Представление данных в формате TSV
• ПРИЛОЖЕНИЕ 5. Создание задачи
• ПРИЛОЖЕНИЕ 6. Создание модели
• ПРИЛОЖЕНИЕ 7. Обучение и экспорт модели
• ПРИЛОЖЕНИЕ 8. Использование модели