Details

Тема выпускной квалификационной работы: «Анализ подходов к оценке предвзятости моделей классификации». Цель дипломной работы - повышение качества работы предвзятой модели классификации вредоносных и безопасных веб-страниц на основе метрик справедливости. Предметом исследования является оценка предвзятости бинарного классификатора на основе метрик справедливости. Задачи, решаемые в ходе исследования:Исследование существующих математических определений понятий предвзятости и справедливости моделей машинного обучения.Классификация предвзятостей моделей машинного обучения и выявление причин их возникновения.Исследование существующих подходов к оценке производительности и предвзятости моделей классификации. Обучение модели бинарной классификации веб-страниц на предвзятой выборке и применение к ней алгоритмов устранения предвзятости. Оценка значений метрик производительности и справедливости обученных моделей и вывод о качестве их работы.В результате работы был реализован инструмент, позволяющий оценивать изменения показателей справедливости в процессе разработки модели классификации и сравнивать обученные модели по показателям справедливости между собой. Была продемонстрирована работа данного инструмента на модели классификации вредоносных и безопасных веб-страниц. Полученные результаты могут быть использованы в качестве основы для интегрирования оценки справедливости в процесс обучения моделей классификации.

The theme of the graduate qualification work: "Analysis of approaches to assessing the bias of classification models". The purpose of the study is to improve the performance of a biased model for classifying malicious and benign web pages based on fairness metrics. The subject of the study is the assessment of the bias of a binary classifier based on fairness metrics. Tasks to be solved in the course of the study:Research of existing mathematical definitions of the concepts of bias and fairness of machine learning models. Classification of biases that occur in machine learning models and identifying the cause of their occurrence. Examining of existing approaches to assessing the bias of models. Training a binary classification model of web pages on a biased sample and applying bias elimination algorithms to it.Evaluation the values of performance metrics and bias of the trained models and draw conclusions about the quality of their work.As a result of the work, a tool was implemented that allows assessing changes in equity indicators in the process of developing a classification model and comparing models in terms of equity indicators with each other. The operation of this tool was demonstrated on a model for classifying malicious and safe web pages. The obtained results can be used as a basis for integrating the fairness assessment into the learning process of classification models.