Целью работы является сравнение и подбор инструментов для создания сервиса по извлечению сущностей из корпоративных документов. Предметом исследования являются современные архитектуры нейронных сетей, методы их дообучения и развёртывания. Задачи, решаемые в ходе исследования: 1. Разметка данных для оценки качества и дообучения. 2. Реализация алгоритма выделения релевантных частей документов для борбы с ограниченным контекстом языковых моделей. 3. Дообучение языковых моделей и достижение оптимальной скорости их отклика. В ходе работы была исследована архитектура transformers и подробна разобран принцип действия слоя self-attention. Были проанализированы способы улучшения качества и увелечения скорости генерации ответов языковых моделей. В результате работы был разработан сервис, который позволяет извлекать необходимые данные из документов, для оптимизации процессов внутри компании.

The objective of this work is to compare and select tools for creating a service to extract entities from corporate documents. The subject of the study includes modern neural network architectures, methods of their fine-tuning, and deployment. The tasks addressed in the course of the research are: 1. Data annotation for quality assessment and fine-tuning. 2. Implementation of an algorithm to extract relevant parts of documents to address the limited context of language models. 3. Fine-tuning language models and achieving optimal response speed. During the work, the transformers architecture was studied, and the functioning of the self-attention layer was thoroughly analyzed. Methods to improve the quality and increase the response speed of language models were examined. As a result of the work, a service was developed that allows the extraction of necessary data from documents to optimize processes within the company.

• СПИСОК ОБОЗНАЧЕНИЙ И СОКРАЩЕНИЙ
• ВВЕДЕНИЕ
• ГЛАВА 1. Обзор существующих решений
  • Некоторые понятия
  • RNN - Recurrent neural network
  • LSTM - Long short-term memory
  • Transformers
    • Self-Attention
    • Декодер
    • BERT
  • LLM
    • Prompt engineering
    • Дообучение моделей
    • Lora - Low-Rank Adaptation
    • Векторная база данных
  • vLLM
    • Пакетная обработка
    • Статическая обработка пакетов
    • Непрерывная обработка пакетов
    • PageAttention
• ГЛАВА 2. Практическая часть работы.
  • Извлечение текста из сканов
  • Датасет для оценки качества сервиса
  • Начало работы
  • Проблемы с длиной контекста
  • Генерация лучшего промпта
  • Дообучение модели
  • Дополнительные исследования
    • Тестирование 70B модели
    • BERT
• ЗАКЛЮЧЕНИЕ
• =СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ
• ПРИЛОЖЕНИЕ