Details

Целью работы является сравнение, выбор и улучшение качества генерации локальной языковой модели, которую затем можно будет интегрировать в реальную систему автоматического написания отчетов обследования сооружений. В ходе работы было проведено, исследование существующих языковых моделей, их возможностей и необходимым аппаратных требований для запуска таких моделей локально. Тестирование моделей происходило при помощи бенчмарков из открытых датасетов, а также при помощи тестов, созданных под предметную область (автоматизация документации). Для улучшения генерации ответов использовались такие техники как prompt-engineering и использование RAG, которые действительно показали улучшение результатов. По итогам работы была собрана статистика о том, какая модель лучше подходит для реальных задач, а также был разработан класс модели для ее интеграции в систему.

The aim of the work is to compare, select, and improve the generation quality of a local language model, which can then be integrated into a real-world system for the automatic generation of building inspection reports. The work involved a study of existing language models, their capabilities, and the hardware requirements necessary to run such models locally. Model testing was conducted using benchmarks from open datasets as well as domain-specific tests related to documentation automation. To improve response generation, techniques such as prompt engineering and RAG (Retrieval-Augmented Generation) were applied, both of which demonstrated an improvement in results. As a result of the study, statistics were collected on which model is best suited for practical tasks, and a model class was developed for integration into the target system.