Детальная информация

Разработка мультимодальной модели диагностики заболеваний на основе совместного анализа медицинских изображений и текстовых описаний с использованием методов глубокого и концептуального обучения, обеспечивающей интерпретируемость прогнозов, устойчивость к катастрофическому забыванию при инкрементальном обучении и эффективную работу в условиях экстремального дисбаланса классов. Диагностика заболеваний грудной клетки по рентгенограммам в условиях реальной клинической практики, создание промышленных систем инкрементального обучения в рентгенологии, а также исследование методов борьбы с дисбалансом классов и катастрофическим забыванием в медицинских интеллектуальных системах. Разработанная мультимодальная модель достигает высокой различительной способности в задаче диагностики заболеваний грудной клетки при условии предварительной балансировки данных. Модель демонстрирует устойчивый рост качества в процессе инкрементального дообучения без разрушения ранее усвоенных знаний, что подтверждает эффективность предложенной стратегии заморозки энкодеров. Концептуальный промежуточный слой обеспечивает интерпретируемость прогнозов и возможность ручной коррекции врачом. Экспериментально доказано, что дисбаланс классов является основным препятствием для эффективного инкрементального обучения: при его сохранении различительная способность модели остаётся на уровне случайного угадывания. Вместе с тем выявлены ограничения: словарный метод формирования меток без учёта отрицаний приводит к ложноположительным срабатываниям; использование искусственных демографических признаков снижает клиническую достоверность. Дальнейшие исследования должны быть направлены на учёт отрицательных конструкций, получение реальных демографических данных и валидацию системы в реальной клинической среде.

Objective: Development of a multimodal model for disease diagnosis based on joint analysis of medical images and textual descriptions using deep and conceptual learning methods, providing interpretability of predictions, resistance to catastrophic forgetting during incremental learning, and effective operation under extreme class imbalance conditions. Diagnosis of chest diseases using radiographs in real clinical practice, development of industrial incremental learning systems in radiology, as well as research on methods for combating class imbalance and catastrophic forgetting in medical intelligent systems. The developed multimodal model achieves high discriminative ability in the task of chest disease diagnosis under the condition of preliminary data balancing. The model demonstrates stable quality growth during incremental retraining without destroying previously acquired knowledge, confirming the effectiveness of the proposed encoder freezing strategy. The conceptual intermediate layer ensures interpretability of predictions and the possibility of manual correction by a physician. It has been experimentally proven that class imbalance is the main obstacle to effective incremental learning: when it persists, the discriminative ability of the model remains at the level of random guessing. At the same time, limitations have been identified: the dictionary method of label generation without considering negations leads to false positives; the use of synthetic demographic features reduces clinical reliability. Further research should be aimed at accounting for negative constructions, obtaining real demographic data, and validating the system in a real clinical environment.