Объяснение предсказаний моделей машинного обучения является одной из важнейших задач в таких областях применения искусственного интеллекта как медицина, финансы и управление автономными системами. Одним из основных методов объяснительного искусственного интеллекта является метод SHAP. Обычная версия SHAP не предназначена для работы с распределениями вероятностей, что затрудняет интерпретацию моделей, решающих задачу многоклассовой классификации. Еще одним недостатком стандартного SHAP является то, что он не учитывает неточность модели при вычислении значений чисел Шепли. В работе описан способ реализации метода SHAP на случай многоклассовой классификации, в котором рассматриваются множества распределений вероятностей, построенных в соответствии со статистической моделью эпсилон-засорения, что позволяет получить интервалы значений чисел Шепли вместо одиночных значений. По результатам экспериментов, было показано, что одиночные значения чисел Шепли из-за возможной неточности предсказаний модели и возникающей неопределенности при их вычислении, часто выдают ненадежные результаты, и вместо них должны рассматриваться интервалы значений.

Explanation of the predictions of machine learning models is one of the most important tasks in such areas of artificial intelligence applications as medicine, finance, and control of autonomous systems. One of the main methods of explainable artificial intelligence is the SHAP method. The regular version of the SHAP is not intended to work with probability distributions, which makes it difficult to interpret models that solve the problem of multiclass classification. Another disadvantage of the standard SHAP is that it does not take into an account the imprecision of the model’s predictions when calculating the values of the Shapley numbers. This work describes a method for implementing the SHAP algorithm for the case of multiclass classification problem, which considers sets of distributions constructed in accordance with the statistical epsilon-contamination model, which allows obtaining intervals of Shapley numbers instead of single values. The experiments are presented showing that single values of the Shapley numbers often give unreliable results, due to the possible inaccuracy of the model's predictions and the resulting uncertainty in their calculation, and instead of them, intervals of values should be considered.