Таблица | Карточка | RUSMARC | |
Разрешенные действия: –
Действие 'Прочитать' будет доступно, если вы выполните вход в систему или будете работать с сайтом на компьютере в другой сети
Действие 'Загрузить' будет доступно, если вы выполните вход в систему или будете работать с сайтом на компьютере в другой сети
Группа: Анонимные пользователи Сеть: Интернет |
Аннотация
Целью работы является сравнение и подбор инструментов для создания сервиса по извлечению сущностей из корпоративных документов. Предметом исследования являются современные архитектуры нейронных сетей, методы их дообучения и развёртывания. Задачи, решаемые в ходе исследования: 1. Разметка данных для оценки качества и дообучения. 2. Реализация алгоритма выделения релевантных частей документов для борбы с ограниченным контекстом языковых моделей. 3. Дообучение языковых моделей и достижение оптимальной скорости их отклика. В ходе работы была исследована архитектура transformers и подробна разобран принцип действия слоя self-attention. Были проанализированы способы улучшения качества и увелечения скорости генерации ответов языковых моделей. В результате работы был разработан сервис, который позволяет извлекать необходимые данные из документов, для оптимизации процессов внутри компании.
The objective of this work is to compare and select tools for creating a service to extract entities from corporate documents. The subject of the study includes modern neural network architectures, methods of their fine-tuning, and deployment. The tasks addressed in the course of the research are: 1. Data annotation for quality assessment and fine-tuning. 2. Implementation of an algorithm to extract relevant parts of documents to address the limited context of language models. 3. Fine-tuning language models and achieving optimal response speed. During the work, the transformers architecture was studied, and the functioning of the self-attention layer was thoroughly analyzed. Methods to improve the quality and increase the response speed of language models were examined. As a result of the work, a service was developed that allows the extraction of necessary data from documents to optimize processes within the company.
Права на использование объекта хранения
Место доступа | Группа пользователей | Действие | ||||
---|---|---|---|---|---|---|
Локальная сеть ИБК СПбПУ | Все |
![]() ![]() ![]() |
||||
Интернет | Авторизованные пользователи СПбПУ |
![]() ![]() ![]() |
||||
![]() |
Интернет | Анонимные пользователи |
Оглавление
- СПИСОК ОБОЗНАЧЕНИЙ И СОКРАЩЕНИЙ
- ВВЕДЕНИЕ
- ГЛАВА 1. Обзор существующих решений
- Некоторые понятия
- RNN - Recurrent neural network
- LSTM - Long short-term memory
- Transformers
- Self-Attention
- Декодер
- BERT
- LLM
- Prompt engineering
- Дообучение моделей
- Lora - Low-Rank Adaptation
- Векторная база данных
- vLLM
- Пакетная обработка
- Статическая обработка пакетов
- Непрерывная обработка пакетов
- PageAttention
- ГЛАВА 2. Практическая часть работы.
- Извлечение текста из сканов
- Датасет для оценки качества сервиса
- Начало работы
- Проблемы с длиной контекста
- Генерация лучшего промпта
- Дообучение модели
- Дополнительные исследования
- Тестирование 70B модели
- BERT
- ЗАКЛЮЧЕНИЕ
- =СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ
- ПРИЛОЖЕНИЕ
Статистика использования
|
Количество обращений: 0
За последние 30 дней: 0 Подробная статистика |