Details

Тема выпускной квалификационной работы: «Интеллектуальная медицинская система с трансформерной архитектурой и средствами формирования сложных запросов». Цель BKP: Реализация интеллектуальной медицинской системы, объединяющей модель компьютерного зрения для диагностики рака кожи на основе изображений с модулем медицинской помощи на основе средств формирования сложных запросов, генерирующих достоверные, высокотехничные ответы, оценка соответствия результатов работы системы медицинским истинам на вопросы, задаваемые специалистами в области онкологической дерматологии. Методы исследования: Диагностика типа рака кожи и ответ на вопросы медицинской помощи на основе реализации архитектуры Vision Transformer и средств генерации сложных запросов, интегрирующих Biomistral-7B LLM, наивную поисковую систему расширенной генерации и автоматическую систему оценки ответов на вопросы с использованием фреймворка RAGAS в интеллектуальной медицинской системе. Основные результаты работы: Реализация интеллектуальной медицинской системы на Python с использованием программных шаблонов Flask model-view-template; реализация модуля для диагностики рака кожи; реализация модуля для оказания медицинской помощи в виде ответов на вопросы; реализация модуля для автоматической оценки средств генерации сложных запросов; развертывание модулей интеллектуальной медицинской системы с использованием Docker. Область применения результатов ВКР: Реализация интеллектуальной медицинской системы и оценка производительности для модели Vision Transformer в задаче диагностики рака кожи, а также оценка качества поиска информации и генерации ответов в средствах формирования сложных запросов. Выводы: Интеллектуальная медицинская система достигает высокой производительности и точных результатов в модуле диагностики типа рака кожи и в модуле ответа на вопросы медицинской помощи, система со средствами генерации сложных запросов достигает замечательных результатов в большинстве аспектов, получая высокую точность соответствия ответов предоставленной технической информации и высокую способность извлекать соответствующую информацию из документов, но, учитывая высокую сложность вопросов, все еще подвержена галлюцинациям, но в меньшей степени.

The topic of the graduate qualification work: “Intelligent medical system with transformer architecture and means of generating complex queries”. The goal of BKP: Implementation of an intelligent medical system that integrates a computer vision model for image-based diagnosis of skin cancer with medical assistance module based on means to generate complex queries that generate reliable, highly technical answers, evaluating the alignment of system outputs with medical ground truths to questions asked by specialists in oncologic dermatology. Research methods: Diagnosis of the type of skin cancer and question-answering medical assistance based on implementation of Vision Transformer architecture and means for generation of complex queries integrating Biomistral-7B LLM, naïve retrieval augmented generation system and automatic system of question-answering evaluation using framework RAGAS in intelligent medical system. Main results of work: Intelligent medical system implemented using Python with Flask model-view-template software patterns; implementation of module for skin cancer diagnosis; implementation of module for question-answering medical assistance; implementation of module for automatic evaluation of means to generate complex queries; deployment of intelligent medical system modules using Docker. Scope of BKP results: Implementation of intelligent medical system and evaluation of performance for Vision Transformer model in diagnosis of skin cancer task and evaluation of retrieval information and answer generation quality in means to generate complex queries. Conclusions: The intelligent medical system achieve high performance and accurate results in module of diagnosis of skin cancer type and in module of question-answering medical assistance, the system with means to generation of complex queries achieve remarkable results in most of aspect, obtaining high accurate adherence of answers into technical information provided and high capacity to retrieve relevant information from documents, but given the high complexity of questions, is still subject to hallucinations, but to a lesser degree.