В данной работе изложена сущность подхода к созданию и экспериментальному исследованию эффективности интеллектуальной системы на основе метода дополненной генерации (Retrieval-Augmented Generation, RAG) для извлечения контекстной информации из текстовых документов. Рассмотрены основные аспекты области обработки естественного языка (Natural Language Processing, NLP) и особенности больших языковых моделей (Large Language Models, LLM). Выявлены как достижения, так и ограничения современных LLM, включая их склонность к генерации недостоверной информации и трудности с обработкой узкоспециализированных запросов. Предложена и спроектирована архитектура интеллектуальной системы на основе метода RAG. Разработана конкретная интеллектуальная система на языке Python с использованием моделей Gemini AI. Определены гиперпараметры, позволяющие адаптировать систему под различные сценарии использования. Протестировано общее быстродействие системы. Исследована скорость работы API моделей при варьировании размера входных данных. Проведено автоматическое тестирование системы на синтетических и узкоспециализированных данных. Выполнена статистическая обработка полученных результатов и изложены выводы применимости метода RAG для повышения качества и релевантности ответов LLM при решении задач извлечения информации из текстовых документов.

This work presents the essence of the approach to creating and experimentally studying the effectiveness of an intelligent system based on the Retrieval-Augmented Generation (RAG) method for extracting contextual information from text documents. The main aspects of Natural Language Processing (NLP) and the features of Large Language Models (LLM) are examined. Both the achievements and limitations of modern LLMs are identified, including their tendency to generate inaccurate information and difficulties in handling specialized queries. The architecture of an intelligent system based on the RAG method is proposed and designed. A specific intelligent system is developed in Python using Gemini AI models. Hyperparameters are defined to adapt the system for various usage scenarios. The overall performance of the system is tested, and the speed of the models API operation is studied with varying input data sizes. Automated testing of the system on synthetic and specialized data is conducted. Statistical processing of the obtained results is performed, and conclusions are drawn regarding the applicability of the RAG method to improve the quality and relevance of LLM responses in tasks of extracting information from text documents.

• cfed4142c57e15f1379c7172476bf10a7456777653279d340931db4afd6c9d26.pdf
  • • Введение
    • 1. Исследование предметной области
    • 2. Проектирование интеллектуальной системы на основе большой языковой модели и метода дополненной генерации
    • 3. Программная реализация интеллектуальной системы
    • 4. Тестирование и апробация
    • Заключение
    • Список сокращений и условных обозначений
    • Словарь терминов
    • Список использованных источников
    • Приложение 1. Архитектура трансформера
    • Приложение 2. Программный код интеллектуальной системы на основе LLM и метода RAG
    • Приложение 3. Программный код для автоматического сравнения интеллектуальной системы с классической LLM через косинусное расстояние
• ecaba7257a1364fcc939b5fb12536544755e74870eafa8d506e3979524e0a285.pdf
• cfed4142c57e15f1379c7172476bf10a7456777653279d340931db4afd6c9d26.pdf
  • • Введение
    • 1. Исследование предметной области
    • 2. Проектирование интеллектуальной системы на основе большой языковой модели и метода дополненной генерации
    • 3. Программная реализация интеллектуальной системы
    • 4. Тестирование и апробация
    • Заключение
    • Список сокращений и условных обозначений
    • Словарь терминов
    • Список использованных источников
    • Приложение 1. Архитектура трансформера
    • Приложение 2. Программный код интеллектуальной системы на основе LLM и метода RAG
    • Приложение 3. Программный код для автоматического сравнения интеллектуальной системы с классической LLM через косинусное расстояние