Details
| Title | Система автоматической валидации библиографических ссылок в технических статьях, сгенерированных с помощью LLM: выпускная квалификационная работа бакалавра: направление 01.03.02 «Прикладная математика и информатика» ; образовательная программа 01.03.02_04 «Биоинформатика» = A system for automatic validation of bibliographic references in technical articles generated using LLM |
|---|---|
| Creators | Наумович Лаврентий Вячеславович |
| Scientific adviser | Новиков Федор Александрович |
| Other creators | Пестряков Д. Д. |
| Organization | Санкт-Петербургский политехнический университет Петра Великого. Физико-механический институт |
| Imprint | Санкт-Петербург, 2026 |
| Collection | Выпускные квалификационные работы ; Общая коллекция |
| Subjects | большие языковые модели ; LLM ; библиографические ссылки ; автоматическая валидация ; контекст цитирования ; релевантность ; TF-IDF ; семантическое сходство ; технические статьи ; large language models ; bibliographic references ; automatic validation ; citation context ; relevance ; semantic similarity ; technical articles |
| Document type | Bachelor graduation qualification work |
| Language | Russian |
| Level of education | Bachelor |
| Speciality code (FGOS) | 01.03.02 |
| Speciality group (FGOS) | 010000 - Математика и механика |
| DOI | 10.18720/SPBPU/3/2026/vr/vr26-4162 |
| Rights | Доступ по паролю из сети Интернет (чтение, печать) |
| Additionally | New arrival |
| Record key | ru\spstu\vkr\41316 |
| Record create date | 7/31/2026 |
Allowed Actions
–
Action 'Read' will be available if you login or access site from another network
| Group | Anonymous |
|---|---|
| Network | Internet |
Данная работа посвящена разработке системы автоматической валидации библиографических ссылок в технических статьях, сгенерированных большими языковыми моделями. Рассматриваются четыре уровня проверки ссылки: существование источника, доступность источника для обработки, наличие расхождений между метаданными библиографической ссылки и метаданными источника, и релевантность содержимого источника локальному контексту цитирования. Для верификации релевантности используется метод, сочетающий структурно-ролевую обработку контекста цитирования и сопоставление полученного фрагмента с рефератом источника по гибридной оценке семантического и лексического сходства. Экспериментальная апробация метода была выполнена на наборе машинно-сгенерированных статей и контрольной выборке реальных научно-технических публикаций. Полученные результаты показали, что при выбранной конфигурации метод выявляет нерелевантные ссылки среди найденных, доступных для обработки и не имеющих расхождений в метаданных источников с точностью 0.712 и полнотой 0.825. Предложенный подход позволяет автоматически оценить качество библиографического аппарата статьи в целом и формировать показатели, используемые для итоговой экспертной оценки статьи.
This thesis is devoted to the development of a system for the automatic validation of bibliographic references in technical articles generated by large language models. Four levels of reference validation are considered: verification of the source’s existence, assessment of its availability for automated processing, detection of discrepancies between the reference metadata and the source metadata, and evaluation of the relevance of the source content to the local citation context. To assess relevance, a method is proposed that combines structural-role processing of the citation context with a comparison between the extracted fragment and the source abstract using a hybrid measure of semantic and lexical similarity. The method was experimentally evaluated on a dataset of machine-generated articles and a control sample of genuine scientific and technical publications. The results showed that, under the selected configuration, the method detects irrelevant references among identified sources that are available for processing and show no discrepancies between the reference metadata and the source metadata, with a precision of 0.712 and a recall of 0.825. The proposed approach enables the automatic assessment of the overall quality of an article’s bibliographic apparatus and the generation of indicators used in the final expert evaluation of the article.
| Network | User group | Action |
|---|---|---|
| ILC SPbPU Local Network | All |
|
| Internet | Authorized users SPbPU |
|
| Internet | Anonymous |
|
- 003ef8e14a730be401bd7064bfa3a9add6f2c30eb342883cf219d44d74dde37e.pdf
- fd83c9231c715f8e02fb2fc15f6e351c270d8e104b175e4e50dcd92fc84c7f90.pdf
- 003ef8e14a730be401bd7064bfa3a9add6f2c30eb342883cf219d44d74dde37e.pdf
- ВВЕДЕНИЕ
- ГЛАВА 1. ТЕОРЕТИЧЕСКИЕ ОСНОВЫ И АНАЛИЗ СУЩЕСТВУЮЩИХ ПОДХОДОВ К РЕШЕНИЮ ПРОБЛЕМЫ
- Существующие подходы к автоматической валидации библиографических ссылок
- Анализ контекста цитирования как основа содержательной верификации ссылок
- Особенности машинной генерации библиографических ссылок в текстах
- Теоретические основы оценки релевантности источника контексту цитирования
- Лексические методы оценки релевантности
- Семантические методы оценки релевантности
- Гибридный подход к оценке релевантности
- ГЛАВА 2. РАЗРАБОТКА МЕТОДА АВТОМАТИЧЕСКОЙ ВАЛИДАЦИИ БИБЛИОГРАФИЧЕСКИХ ССЫЛОК
- Формальная постановка задачи
- Метод верификации релевантности на основе структурно-ролевого анализа контекста и семантического анализа реферата
- Формирование итогового вердикта о корректности ссылки
- Общая схема формирования итогового вердикта
- Поиск источника по DOI
- Поиск источника по названию публикации
- Обработка источников, заданных URL
- Обогащение данных и получение текстового представления источника
- Правила проверки согласованности метаданных
- Проверка названия и DOI
- Проверка списка авторов
- Проверка года публикации
- Проверка издания, тома, выпуска и страниц
- Оценка содержательной релевантности
- ГЛАВА 3. РАЗРАБОТКА ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ СИСТЕМЫ АВТОМАТИЧЕСКОЙ ВАЛИДАЦИИ БИБЛИОГРАФИЧЕСКИХ ССЫЛОК
- Программный комплекс и модели
- Диаграмма активности
- Диаграмма компонентов программного комплекса
- ГЛАВА 4. АПРОБАЦИЯ И ОЦЕНКА РЕЗУЛЬТАТОВ
- Цель, схема экспериментальной проверки
- Формирование экспериментальной выборки и правила разметки
- Метрики оценки качества
- Результаты эксперимента
- Ограничения экспериментальной апробации
- Выводы по главе 4
- ЗАКЛЮЧЕНИЕ
- СПИСОК СОКРАЩЕНИЙ И УСЛОВНЫХ ОБОЗНАЧЕНИЙ
- СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
