Details

Данная работа посвящена разработке метода ранжирования мультимодальных языковых моделей (Multimodal Language Models, MLLM) с целью повышения точности и объективности их сравнения. Актуальность темы обусловлена возросшим количеством подобных моделей и популяризацией их применения в самых различных областях, что усложняет процесс выбора наилучшего алгоритма в каждом приложении, а также недостатком универсальной системы оценки их качества. В основе метода лежит анализ метрик качества, которые получают модели на валидационном наборе данных, а также их статистических свойств. Разрабатываемая процедура представляет собой улучшенную версию метода PROMETHEE, что позволяет точнее ранжировать модели с учетом противоречивых критериев качества и учитывает специфику работы с моделями машинного обучения. В ходе экспериментальной оценки показанопреимущество такого подхода по сравнению с другими методиками. Полученные результаты свидетельствуют о возможности применения предложенной системы в реальных задачах с разнотипными данными, что особенно полезно при отсутствии возможности определения относительной значимости каждого критерия.

This work is devoted to the development of a ranking method for multimodal Language Models (MLLM) in order to improve the accuracy and objectivity of their comparison. The relevance of the topic is due to the increased number of such models and the popularization of their use in various fields, which complicates the process of choosing the best algorithm in each application, as well as the lack of a universal system for evaluating their quality. The method is based on the analysis of quality metrics obtained by models based on a validation dataset, as well as their statistical properties. The procedure being developed is an improved version of the PROMETHEE method, which makes it possible to more accurately rank models based on conflicting quality criteria and takes into account the specifics of working with machine learning models. The experimental evaluation shows the advantage of this approach in comparison with other methods. The results obtained indicate the possibility of using the proposed system in real-world problems with different types of data, which is especially useful in the absence of the possibility of determining the relative importance of each criterion.

• Введение
• Формализация задачи
• Обзор существующих подходов
  • Метод средних
  • PCRA
  • PROMETHEE
    • Точность оценок чистых потоков
• Предлагаемое решение
  • Применение Bootstrap
  • Анализ статистической значимости
• Применение на реальных данных
  • Визуально-текстовая задача
  • Задача резюмирования текста
  • Интеграция с ClearML
• Заключение
• Список использованных источников