Details

Данная работа посвящена разработке системы автоматической валидации библиографических ссылок в технических статьях, сгенерированных большими языковыми моделями. Рассматриваются четыре уровня проверки ссылки: существование источника, доступность источника для обработки, наличие расхождений между метаданными библиографической ссылки и метаданными источника, и релевантность содержимого источника локальному контексту цитирования. Для верификации релевантности используется метод, сочетающий структурно-ролевую обработку контекста цитирования и сопоставление полученного фрагмента с рефератом источника по гибридной оценке семантического и лексического сходства. Экспериментальная апробация метода была выполнена на наборе машинно-сгенерированных статей и контрольной выборке реальных научно-технических публикаций. Полученные результаты показали, что при выбранной конфигурации метод выявляет нерелевантные ссылки среди найденных, доступных для обработки и не имеющих расхождений в метаданных источников с точностью 0.712 и полнотой 0.825. Предложенный подход позволяет автоматически оценить качество библиографического аппарата статьи в целом и формировать показатели, используемые для итоговой экспертной оценки статьи.

This thesis is devoted to the development of a system for the automatic validation of bibliographic references in technical articles generated by large language models. Four levels of reference validation are considered: verification of the source’s existence, assessment of its availability for automated processing, detection of discrepancies between the reference metadata and the source metadata, and evaluation of the relevance of the source content to the local citation context. To assess relevance, a method is proposed that combines structural-role processing of the citation context with a comparison between the extracted fragment and the source abstract using a hybrid measure of semantic and lexical similarity. The method was experimentally evaluated on a dataset of machine-generated articles and a control sample of genuine scientific and technical publications. The results showed that, under the selected configuration, the method detects irrelevant references among identified sources that are available for processing and show no discrepancies between the reference metadata and the source metadata, with a precision of 0.712 and a recall of 0.825. The proposed approach enables the automatic assessment of the overall quality of an article’s bibliographic apparatus and the generation of indicators used in the final expert evaluation of the article.