Details

Выпускная квалификационная работа посвящена разработке мультимодальной агентной системы ViRAGE для автоматизации этапов анализа научных данных. Предметом работы является агентный конвейер построения и проверки визуализаций по естественно-языковому запросу. Входные данные могут быть представлены готовой таблицей либо однородным набором файлов, например набором изображений, который предварительно преобразуется в таблицу численных характеристик. Методика включает подготовку данных, построение профиля, планирование анализа, извлечение знаний из базы, генерацию спецификации Vega-Lite, техническую проверку, формирование изображения диаграммы, визуально-языковую оценку и сохранение артефактов выполнения. Результатом является прототип ViRAGE, реализующий конвейер построения диаграмм и экспериментальную оценку в задачах построения визуализаций по естественно-языковым запросам (Natural Language to Visualization, NL2VIS) и мультимодального прикладного сценария. Область применения результатов включает исследовательские средства предварительного анализа данных, учебные аналитические среды и системы поддержки визуального анализа таблиц и численных характеристик мультимодального входа.

The graduate qualification work is devoted to the development of the multimodal agent system ViRAGE for automating stages of scientific data analysis. The subject of the work is an agent pipeline for constructing and verifying visualizations from a natural-language request. Input data may be provided as a ready-made table or as a homogeneous collection of files, for example a set of images, which is first converted into a table of numerical characteristics. The methodology includes data preparation, profile construction, analysis planning, retrieval of knowledge from a database, generation of a Vega-Lite specification, technical validation, deterministic conversion of the specification into a chart image, VLM-based evaluation, and storage of execution artifacts. The result is the ViRAGE prototype, which implements a visualization workflow and experimental evaluation for Natural Language to Visualization (NL2VIS) tasks, and a multimodal applied scenario. The results can be applied in research tools for preliminary data analysis, educational analytical environments, and systems supporting visual analysis of tables and numerical characteristics derived from multimodal input.

• Мультимодальные агентные системы автоматизации этапов анализа научных данных
  • Введение
  • 1. Анализ предметной области и существующих решений
  • 2. Модель мультимодальной агентной системы ViRAGE
  • 3. Программная реализация ViRAGE
  • 4. Экспериментальная оценка ViRAGE
  • Заключение
  • Список сокращений и условных обозначений
  • Словарь терминов
  • Список использованных источников
  • Приложение 1. Состав артефактов выполнения ViRAGE
  • Приложение 2. Параметры экспериментальной оценки