Details

В работе рассматривается автоматическая проверка фактологических утверждений на основе больших языковых моделей и открытых источников. Объект исследования — процесс поиска, отбора и интерпретации доказательств при проверке утверждений в открытом вебе. Цель работы состоит в исследовании существующих подходов, разработке многошагового алгоритма верификации составных утверждений и реализации программной системы, формирующей интерпретируемый вердикт с указанием найденных источников. Методология работы включает анализ научных и программных подходов к фактчекингу, проектирование алгоритма декомпозиции и агрегации промежуточных решений, разработку серверной части и веб-интерфейса, а также экспериментальное сравнение вариантов проверки. Экспериментальная оценка проведена на наборах HOVER и AVeriTeC с использованием метрик Accuracy, Macro-F1, precision и recall по классам. В результате реализована система интерактивного фактчекинга с поиском доказательств, учетом надежности источников, журналом выполнения, цитатами и итоговым объяснением. Показано, что качество проверки существенно зависит от полноты и релевантности найденных доказательств. Результаты могут применяться при разработке систем поддержки фактчекинга, анализа сообщений и предварительной оценки достоверности утверждений.

The thesis studies methods for automatic verification of factual claims using large language models and open sources. The aim of the work is to analyze existing approaches, develop a multi-step algorithm for verifying composite claims, and implement a software system that produces an interpretable verdict supported by retrieved sources. The study compares claim classification methods with given evidence and proposes an algorithm that includes decomposition, information search, fragment selection and aggregation of intermediate decisions. The implemented system includes a server component, a task execution mechanism and a web interface for running checks, inspecting execution logs, sources, quotations and the final conclusion. The experimental evaluation is carried out on HOVER and AVeriTeC using Accuracy, Macro-F1, precision and recall. The results show that verification quality strongly depends on the completeness and relevance of the retrieved evidence. With prepared evidence, the verifier achieves higher quality than in the mode with independent search in open sources. The results may be used in systems for fact-checking support, message analysis and preliminary assessment of claim reliability.

• Исследование и реализация методов автоматической проверки утверждений на основе больших языковых моделей и открытых источников
  • Введение
  • 1. Анализ существующих подходов к автоматической проверке утверждений
  • 2. Разработка алгоритма многошаговой верификации составных фактологических утверждений
  • 3. Проектирование системы интерактивного фактчекинга на основе многошаговой верификации
  • 4. Организация поиска информации и интеграция модуля поиска с модулем верификации
  • 5. Программная реализация системы и разработка веб-приложения
  • 6. Экспериментальная валидация системы фактчекинга
  • Заключение
  • Список использованных источников
  • Приложение 1 Исходный код