Details

В работе рассматриваются системы на основе больших языковых моделей, которым требуется управление контекстом, долговременная память и доступ к внешним источникам данных. Целью работы является сравнение различных подходов к управлению контекстом и памятью в LLM-системах, а также разработка программной системы на основе MCP. В ходе исследования были проанализированы основные подходы к управлению контекстом: усечение, суммаризация, RAG, использование векторных баз данных, генерация SQL для доступа к структурированной информации и агентные архитектуры. Для возможности переиспользования решений, легкой масштабируемости был выбран MCP (Model Context Protocol). В результате была реализована система управления памятью для LLM с динамическим выбором инструментов. Она включает оркестратор, менеджер контекста, менеджер памяти, MCP-маршрутизатор и набор MCP-серверов. Система поддерживает долговременное хранение фактов, семантический поиск, автоматическое извлечение информации из диалога и маршрутизацию запросов к внешним инструментам. Тестирование подтвердило корректность работы основных компонентов и показало, что учет не только семантической близости, но и важности записи повышает качество отбора контекста, а инструменты, даже самыми простыми и дешевыми моделями вызываются верно в большинстве случаев. Результаты работы могут применяться при создании LLM-ассистентов, чат-ботов, аналитических агентов и других систем. MCP является практичным механизмом для построения модульной архитектуры управления контекстом и памятью в LLM-системах.

The work considers systems based on large language models that require context management, long-term memory, and access to external data sources. The aim of the work is to compare different approaches to context and memory management in LLM systems, as well as to develop a software system based on MCP. In the course of the research, the main approaches to context management were analyzed: truncation, summarization, RAG, the use of vector databases, SQL generation for access to structured information, and agent architectures. MCP (Model Context Protocol) was chosen to enable solution reuse and easy scalability. As a result, a memory management system for LLMs with dynamic tool selection was implemented. It includes an orchestrator, a context manager, a memory manager, an MCP router, and a set of MCP servers. The system supports long-term fact storage, semantic search, automatic extraction of information from dialogue, and routing of requests to external tools. Testing confirmed the correctness of the main components and showed that taking into account not only semantic similarity but also the importance of a record improves the quality of context selection, while tools are called correctly in most cases even by the simplest and cheapest models. The results of the work can be applied in the development of LLM assistants, chatbots, analytical agents, and other systems. MCP is a practical mechanism for building a modular architecture for context and memory management in LLM systems.

• Изучение и реализация MCP для управления контекстом и памятью в LLM системах
  • Введение
  • 1. Обзор технологий для управления контекстом и памятью в LLM
  • 2. Разработка архитектуры управления контекстом и долговременной памятью на основе MCP
  • 3. Проектирование и реализация системы управления контекстом LLM-ассистента с долговременной памятью
  • 4. Апробация и тестирование системы управления контекстом и память.
  • Заключение
  • Список использованных источников
  • Приложение 1 Код основных подмодулей разработанного приложения