Details

Объектом исследования являются системы поиска и извлечения медицинской информации. Предмет исследования – методы векторного представления и мультимодального поиска рентгенологических данных. Цель работы – разработка мультимодальной системы поиска по рентгенологическим исследованиям, основанной на векторных представлениях текстовых и визуальных данных, обеспечивающей эффективное нахождение семантически релевантных случаев. В работе использованы методы машинного обучения для генерации векторных представлений, алгоритмы позднего объединения результатов текстового и визуального поиска, а также инструменты векторного поиска. Результатом является  веб-приложение, включающее серверную часть на Python и веб-интерфейс. Система обеспечивает загрузку исследований, автоматическую генерацию векторных представлений, семантический поиск по тексту и изображению, а также комбинированный мультимодальный поиск с настраиваемыми весами модальностей. Тестирование показало Precision@10 = 0.73 для комбинированного поиска. Область применения: нахождение похожих случаев в рамках диагностики, сбор данных по критериям для научных исследований в медицинских учреждениях. Используемые технологии: СУБД PostgreSQL, расширение PostgreSQL для поддержки векторов pgvector, блочное хранилище данных MinIO, система контейнеризации Docker, языки программирования Python и Typescript, веб-фреймворки FastAPI и React.

The object of research is medical information retrieval systems. The subject of research is  methods of vector representation and multimodal search of radiological data. The aim of this work is to develop a multimodal search system for radiological studies based on vector representations of textual and visual data, providing effective retrieval of semantically relevant cases. The work employs machine learning methods for generating vector embeddings, late fusion algorithms for combining text and visual search results, and vector search tools. The result is a web application comprising a Python backend (FastAPI, PostgreSQL, pgvector, MinIO) and a React web interface. The system supports study upload, automatic generation of vector representations, semantic text and image search, and combined multimodal search with configurable modality weights. Testing demonstrated Precision@10 = 0.73 for combined search. Application areas include clinical decision support, and gathering data for scientific research in healthcare insitutions. Technologies used: PostgreSQL DBMS, PostgreSQL extension with vector support pgvector, MinIO block storage, Docker containers engine, Python and Typescript programming languages, FastAPI and React web-frameworks.

• Разработка мультимодальной системы поиска по рентгенологическим исследованиям на основе векторных представлений
  • Введение
  • 1. Анализ предметной области
  • 2. Обзор и анализ аналогов
  • 3. Проектирование системы
  • 4. Реализация системы
  • 5. Тестирование
  • Заключение
  • Список использованных источников
  • Приложение 1 Код экспериментов по выбору моделей
  • Приложение 2 Код приложения
  • Приложение 3 Код эксперимента по определению качества поиска
  • Приложение 4 Интерфейс системы