Тема выпускной квалификационной работы: «Разработка модели многовариантного обучения с использованием трансформера для диагностического анализа гистопатологических образцов». Данная работа посвящена разработке модели многовариантного обучения с использованием трансформера для анализа (классификации и разметки) гистопатологических снимков колоректальной аденомы. В ходе разработки решались следующие задачи: 1. Обзор методов и моделей машинного обучения с использованием трансформера для анализа гистопатологических изображений. Обзор методов интерпретации предсказаний моделей. 2. Разработка модели машинного обучения на основе трансформера для классификации гистопатологических образцов в рамках метода многовариантного обучения. 3. Разработка методов автоматизированной разметки гистопатологических образцов с использованием методов интерпретации предсказаний модели с помощью тепловых карт и сегментационных масок. 4. Программная реализация и постановка вычислительного эксперимента по разработанным моделям: • определение точности модели при классификации изображений; • определение точности методов разметки гистопатологических образцов (сегментации); • сравнение полученных результатов с метриками других моделей, разработанных для рассматриваемых наборов данных. Результатом выполнения работы является программа, реализованная на языке программирования Python с использованием библиотеки Pytorch. Программа состоит из 3 модулей, которые могут использоваться независимо: модуля обучения, предсказания и объяснения (разметки). Исследование качества классификации и разметки было проведено на двух наборах данных, содержащих изображения колоректальной аденомы. Практическая значимость работы состоит в возможности применения модели в медицинских системах, ассистирующих врачам в принятии диагностических решений.

The subject of the graduate qualification work is “Development of Multiple Instance Learning model with Visual Transformer for diagnostic analysis of histopathological images”. The given work is devoted to the development of Multiple Instance Learning model with Visual Transformer for diagnostic analysis (classification and segmentation) of histopathological images of colorectal adenoma. The research set the following goals: 1. Review of methods and models of machine learning using Multiple Instance Learning and Visual Transformer for the analysis of histopathological images. Review of methods for interpreting model predictions. 2. Development of a machine learning model based on the Visual Transformer for classification of histopathological images within the Multiple Instance Learning method. 3. Development of methods for automated segmentation of histopathological samples using heat maps and segmentation masks. 4. Program implementation and setting up a computational experiment based on the developed models: • determining the accuracy of the model in image classification; • determining the accuracy of segmentation methods; • comparison of the obtained results with the metrics of other models developed for the considered datasets. The result of the work is a program implemented in the Python programming language using the Pytorch library. The program consists of 3 modules that can be used independently: learning module, prediction and explanation (segmentation). Classification and segmemtation quality study was conducted on on two datasets containing images of colorectal adenoma. The practical significance of the work lies in the possibility of using the model in medical systems, assisting doctors in making diagnostic decisions.

• Введение
• Глава 1. Обзор методов диагностики гистологических изображений с использованием моделей машинного обучения
  • Обзор существующих методов диагностики гистологических изображений
  • Выбор и обоснование методов для создания модели для анализа гистопатологических изображений
    • Многовариантное обучение
    • Visual Transformer
    • Метод LIME
  • Постановка задачи
• Глава 2. Разработка модели для анализа гистопатологичесиких изображений
  • Разработка модели многовариантного обучения с использованием трансформера
  • Обучение модели
• Глава 3. Разработка метода автоматизированной разметки гистологических образцов
  • Построение маски сегментации с использованием весов патчей
  • Построение маски сегментации с использованием метода LIME
• Глава 4. Программная реализация и постановка вычислительного эксперимента по разработанным моделям
  • Программная реализация
  • Исследование влияния модулей ViT и MIL на точность классификации гистологических изображений
  • Исследование точности классификации гистологических изображений
  • Исследование точности сегментации гистологических изображений
    • Сравнение рассмотренных способов построение маски сегментации
    • Сравнение точности сегментации с другими моделями
  • Анализ результатов эксперимента
• Заключение
• Список использованных источников