Details

В соответствии с поставленной целью в работе решены следующие задачи: анализ литературы по теме исследования, создание корпуса англоязычных научных статей по прикладной лингвистике, генерация аннотаций выбранными языковыми моделями, автоматическая и экспертная оценка текстов этих аннотаций. В рамках исследования применен комплексный подход к оценке качества аннотаций, сочетающий расчет объективных метрик (FKGL, ARI, MATTR, лексическая плотность) и экспертную оценку структурных, содержательных и лингвостилистических характеристик. Материалом для исследования послужили статьи на английском языке из журнала “Annual Review of Applied Linguistics”. Составлен корпус из сгенерированных аннотаций с использованием моделей LED, LongT5 и DeepSeek с двумя вариантами промптов (12100 токенов). В результате проведенного исследования выявлено, что использованные модели LED и LongT5 генерируют тексты с высоким показателем читабельности, но часто допускают фактические ошибки. Модель Deepseek генерирует точные и терминологически насыщенные аннотации, но страдает от избыточности. Наиболее качественными и близкими к авторским оказались тексты, сгенерированные моделью Deepseek с базовым промптом. Полученные данные подтверждают, что языковые модели могут служить эффективным инструментом для подготовки черновиков аннотаций, однако сгенерированные тексты требуют обязательного постредактирования.

In accordance with the set goal, the following tasks were solved in the work: analysis of the literature on the research topic, creation of a corpus of English-language research articles on applied linguistics, generation of abstracts by selected language models, automatic and expert evaluation of texts. The study uses an integrated approach to assessing the quality of abstracts, combining the calculation of objective metrics (FKGL, ARI, MATTR, lexical density) and an expert assessment of the structural, content and linguistic characteristics of the generated abstracts. The material for the study was articles in English from the journal Annual Review of Applied Linguistics. The corpus is made up of generated abstracts using LED, LongT5 and DeepSeek models with two variants of prompt. The results of the study revealed the specific features of each model. The used LED and LongT5 models generate texts with a high readability index, but often make factual errors. The Deepseek model generates accurate and terminologically rich abstracts, but suffers from redundancy. The texts generated by the Deepseek model with basic prompt turned out to be of the highest quality and closest to the authors. The data obtained confirm that modern language models can serve as effective tools for preparing draft annotations, but require mandatory post-editing.

• ВВЕДЕНИЕ
• ГЛАВА 1. ТЕОРЕТИЧЕСКИЕ ОСНОВЫ АВТОМАТИЧЕСКОЙ СУММАРИЗАЦИИ И ОЦЕНКИ НАУЧНЫХ АННОТАЦИЙ
  • 1.1 Научная аннотация как объект лингвистического исследования
    • 1.1.1 Аннотирование и реферирование. Аннотация к научной статье.
    • 1.1.2 Виды и функции аннотации
    • 1.1.3 Структурно‑композиционные и лингвостилистические особенности англоязычной аннотации
    • 1.1.4 Критерии качества и требования к составлению аннотаций к научной статье
  • 1.2 Автоматическая суммаризация текстов: основные подходы и методы
    • 1.2.1 Понятие автоматической суммаризации и ее методов
    • 1.2.2 Экстрактивные и абстрактивные методы суммаризации
    • 1.2.3 Современные модели для суммаризации на основе архитектуры трансформер
    • 1.2.4 Большие языковые модели (LLM) и их применение в задачах суммаризации
  • 1.3 Методы оценки качества автоматической суммаризации
    • 1.3.1 Автоматические метрики оценки
    • 1.3.2 Метод экспертной оценки
    • 1.3.3 Корреляция между автоматическими метриками и экспертной оценкой
• ВЫВОДЫ ПО ГЛАВЕ 1
• ГЛАВА 2. ОЦЕНКА КАЧЕСТВА АННОТАЦИЙ, СГЕНЕРИРОВАННЫХ ЯЗЫКОВЫМИ МОДЕЛЯМИ
  • 2.1 Материалы и методы исследования
    • 2.1.1 Формирование корпуса научных статей
    • 2.1.2 Выбор языковых моделей для генерации аннотаций
    • 2.1.3 Методика проведения эксперимента
    • 2.1.4 Методика оценки качества
  • 2.2 Анализ результатов автоматической оценки
  • 2.3 Анализ результатов экспертной оценки
    • 2.3.1 Читабельность
    • 2.3.2 Структурный и содержательный аспекты
    • 2.3.3 Лингвистические характеристики
    • 2.3.4 Субъективная оценка
• ВЫВОДЫ ПО ГЛАВЕ 2
• ЗАКЛЮЧЕНИЕ
• СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ