Details

Предметом выпускной квалификационной работы являются методы автоматического извлечения числовых данных из изображений круговых диаграмм. Целью работы является повышение точности извлечения числовых данных из изображений круговых диаграмм. В работе рассматривается задача восстановления процентных значений секторов по изображению диаграммы и последующего семантического сопоставления полученных данных с элементами легенды. В качестве методологии используются методы компьютерного зрения и машинного обучения, а именно сегментация области диаграммы с помощью YOLO11n-seg с последующим обнаружением угловых границ секторов с по- мощью сверточной нейронной сети и постобработкой полученных предсказаний. Для семантического обогащения результата используется большая языковая модель, которой передается структурированное описание найденных сек- торов и исходное изображение диаграммы. В результате разработан алгоритм извлечения числовых данных из круговых диаграмм, реализующий полный конвейер обработки изображения от выделения области диаграммы до формирования структурированного описания секторов. Проведено экспериментальное исследование на датасете ExcelChart400K. Эксперименты показали, что предложенный подход достигает качества, сопоставимого с ранее предложенными решениями. В процессе работы использовались информационные технологии и программные средства, такие как язык программирования Python, библиотеки OpenCV, NumPy и PyTorch для обработки изображений и обучения нейронных сетей, модель сегментации YOLO11n-seg, а также большая языковая модель Qwen/Qwen3.5-Plus-02-15 для семантического обогащения результата.

The subject of the graduation qualification work is methods for automatic extraction of numerical data from pie chart images. The objective of the work is to improve the accuracy of numerical data extraction from pie chart images. The study addresses the problem of recovering percentage values of chart sectors from an image and subsequently performing semantic matching of the obtained data with legend elements. The methodology is based on computer vision and machine learning techniques, namely segmentation of the chart area using YOLO11n-seg, followed by detection of sector angular boundaries using a convolutional neural network and postprocessing of the obtained predictions. To enrich the extracted results semantically, a large language model is employed, receiving both a structured description of the detected sectors and the original chart image. As a result, an algorithm for extracting numerical data from pie charts was developed, implementing a complete image-processing pipeline from chart area segmentation to generation of a structured sector description. An experimental study was conducted using the ExcelChart400K dataset. The experiments demonstrated that the proposed approach achieves performance comparable to previously published solutions. The work used and developed the following information technologies and software tools, such as the Python programming language, OpenCV, NumPy and PyTorch libraries for image processing and neural network training, the YOLO11nseg segmentation model, as well as the Qwen/Qwen3.5-Plus-02-15 large language model for semantic enrichment of the result.

• АКТУАЛЬНОСТЬ
• Введение
• Анализ существующих подходов к автоматическому извлечению численных данных из круговых диаграмм
  • Автоматическое понимание диаграмм как задача компьютерного зрения
  • Ограничения существующих подходов к извлечению данных из круговых диаграмм
  • Подходы к выделению области диаграммы на изображении
    • Сравнение сегментационных моделей для локализации круговой диаграммы
  • Геометрические методы представления круговой диаграммы
  • Обнаружение границ секторов и восстановление процентных значений
  • Использование мультимодальных и языковых моделей для семантического обогащения результатов
  • Выводы к главе
• Формальная постановка задачи
• Разработка алгоритма извлечения числовых данных из круговых диаграмм
  • Выделение области круговой диаграммы
    • Выбор сегментатора
    • Подготовка датасета
  • Геометрическая нормализация и полярное представление
  • Обнаружение границ секторов с помощью сверточных нейронных сетей
    • Архитектурные конфигурации сверточной сети
    • Целевая разметка и функция потерь
  • Обработка предсказаний сверточной сети
    • Преобразование вероятностного профиля в кандидаты границ
    • Фильтрация и сборка секторов
  • Семантическое обогащение результатов с использованием LLM
  • Выводы к главе
• Экспериментальное исследование разработанного подхода
  • Методика проведения экспериментов
    • Используемые данные
    • Сравниваемые модели и параметры постобработки
    • Метрики качества
  • Схема экспериментального исследования
    • Первый этап: проверка на синтетических данных
    • Второй этап: проверка переносимости на ExcelChart400K
    • Третий этап: дообучение на ExcelChart400K
  • Результаты экспериментального исследования
    • Выбор конфигураций на синтетических данных
    • Проверка переносимости на ExcelChart400K
    • Дообучение модели на данных ExcelChart400K
  • Сравнение с ранее предложенными решениями
  • Проверка переносимости на естественные изображения
  • Выводы к главе
• Заключение
• СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ