Details

Целью данной работы является разработка модуля по автоматизации процессов управления документами в рамках программного обеспечения AI-ассистент на базе технологий Large Language Model и Retrieval-Augmented Generation. Работа модуля основана на выявлении и удалении повторяющейся информации, управлении противоречивой информации, которая хранится в векторном представлении. В работе представлена архитектура и описание реализации модуля управления документами с внедренным предлагаемым методом по работе с повторяющейся и противоречивой информацией. Эффективность работы данного модуля была оценена в процессе проведения экспериментального исследования с использованием подготовленных наборов тестовых документов различных форматов, содержащих повторяющуюся и противоречивую информацию. Результаты экспериментального исследования демонстрируют сокращение времени обработки документов, сокращение объема хранящейся информации, и уменьшение времени поиска информации. Модуль позволяет автоматизировать процесс управления документами, оптимизировать использование ресурсов и ускорить работу основного модуля, предназначенного для ответов на вопросы, что доказывает целесообразность реализации и внедрения данного модуля в продукт.

The objective of this thesis is to develop a module for automating document management processes within an AI assistant software system based on Large Language Model and Retrieval-Augmented Generation technologies. The module operates by identifying and eliminating redundant information, as well as managing conflicting information stored in a vector representation. The thesis presents the architecture and implementation details of the document management module incorporating the proposed method for handling redundant and conflicting information. The modules performance was evaluated through an experimental study using prepared datasets of test documents in various formats containing redundant and contradictory information. The results of the experimental evaluation demonstrate a reduction in document processing time, a decrease in the volume of stored data, and improved information retrieval time. The module enables automation of document management processes, optimizes resource utilization, and enhances the performance of the core question-answering module, thereby demonstrating the feasibility and effectiveness of implementing and integrating this module into the product.