Details

Работа посвящена созданию менеджера для локального запуска больших языковых моделей — LLM. Он организует работу с моделями от установки и чтения метаинформации до конвертации модели в формат GGUF (GGML Universal File) и квантования средствами библиотеки llama.cpp. Главное назначение менеджера — предоставлять доступ к LLM для внешних программных модулей, включая проект по объединению онтологий в нефтедобывающей отрасли. В этом проекте задействованы два вида моделей: text-generation для генерации текста и embedding для получения векторных предcтавлений слов (эмбеддингов). В работе проанализирована задача объединения онтологий и роль LLM в семантическом анализе. Также рассмотрен ряд существующих решений (Ollama, LM Studio, vLLM, SGLang, Triton Inference Server и llama.cpp). Итогом разработки стал функциональный прототип менеджера LLM. Его архитектура представляет собой серверную часть на Python и FastAPI, базу данных PostgreSQL и клиентское приложение на C# с использованием Avalonia UI. Для интеграции с проектом по объединению онтологий написан специализированный Python API. Он позволяет внешним модулям обращаться к локальным моделям, абстрагируясь от прямой работы с файлами весов LLM и c внутренней структурой базы данных менеджера.

This work focuses on developing a manager for the local execution of large language models (LLMs). It handles the entire model workflow, from installation and reading meta-information to conversion into the GGUF (GGML Universal File) format and quantization using the llama.cpp library. The managers primary purpose is to provide external software modules with access to LLMs, including the ontology merging project in the oil production domain. This project utilizes two types of models: a text-generation model for generating text and an embedding model for obtaining vector representations (embeddings) of words. The paper analyzes the task of ontology merging and the role of LLMs in semantic analysis. It also reviews a range of existing solutions (Ollama, LM Studio, vLLM, SGLang, Triton Inference Server, and llama.cpp). The development resulted in a functional prototype of an LLM manager. Its architecture comprises a Python-based server part using FastAPI, a PostgreSQL database, and a C# client application using Avalonia UI. A specialized Python API was developed for integration with the ontology merging project. It enables external modules to access local models while abstracting away the direct handling of weight files and the internal structure of the managers database.