Детальная информация

В работе предложена архитектура модели машинного обучения с внедрением механизма многоголового внимания для решения задачи оценки персонализированного эффекта лечения.  Оценка эффекта лечения – это задача регрессии, характеристики пациента подаются на вход модели в виде табличных данных. Реализованная модель предназначена для оценки условного среднего эффекта воздействия, при получении оценки рассматривается бинарный тип лечения – было лечение предоставлено пациенту или нет. При верификации модели использовались сгенерированные синтетические и полусинтетические существующие наборы данных, например, IHDP. Датасеты были разделены на испытуемую и контрольную группы с соблюдением определенных пропорций. Модель, предварительно обученная на этих наборах данных, показала высокое качество оценки при тестировании. Также с помощью причинно-следственных моделей – небольших полносвязных сетей были сгенерированы синтетические датасеты. Представленная модель после предобучения на них показала хорошие результаты оценки условного среднего эффекта лечения на валидационных датасетах при небольшом количестве эпох дообучения на них и последующем проходе этих датасетов через данную модель.

The paper proposes an architecture of a machine learning model with a multi-head attention mechanism to solve the problem of evaluating the personalized treatment effect. Treatment effect estimation is a regression task where patient characteristics are fed into the model as tabular data. The implemented model is designed to estimate the conditional average treatment effect (CATE), considering a binary treatment type, whether the patient received the treatment or not. The models verification utilized generated synthetic and semi-synthetic datasets, for example, IHDP. The datasets were divided into test and control groups in accordance with certain proportions. The model, pre-trained on these datasets, demonstrated high-quality estimation performance during testing. Additionally, synthetic datasets were generated using structured causal models — fully-connected networks. The proposed model, after pre-training on these datasets, demonstrated good results in estimating the conditional average treatment effect on validation datasets with a small number of fine-tuning epochs and subsequent passing of these datasets through the model.