В данной выпускной квалификационной работе представлено исследование проблем выявления опасного поведения модулей ядра ОС Windows. Рассмотрены возможные угрозы со стороны модулей ядра, а также проанализированы существующие методы по их выявлению. Был предложен метод выявления опасного поведения модулей ядра ОС, основанный на технологии аппаратной виртуализации и методах машинного обучения, и разработан прототип системы обнаружения. Разработанная система состоит из монитора памяти, основанном на технологии аппаратной виртуализации Intel VT-x, и позволяет контролировать исполнение целевого модуля ядра для выявления особенностей его поведения, таких как операции чтения, записи и исполнения в определенных участках памяти, и анализатора, который применяет методы машинного обучения для обнаружения опасного поведения. Предложена методика отбора важных функций API Windows для обучения моделей обнаружения с помощью меры TF-IDF. Проведены эксперименты, позволяющие оценить эффективность разработанного решения, в результате которых было выявлено, что система способна выявлять опасное поведение модулей ядра ОС Windows с достаточно высокой точностью.

This work presents a research of existing problems of detecting dangerous behavior of Windows kernel modules. Possible threats from kernel modules are considered, and existing methods for their detection are analyzed. A method for detecting dangerous behavior of OS kernel modules based on hardware virtualization technology and machine learning methods was proposed, and a prototype detection system was developed. The developed system consists of a memory monitor based on Intel VT-x hardware virtualization technology and allows you to monitor the execution of the target kernel module to detect specific characteristics of its behavior, such as read, write and execute operations in certain memory areas, and an analyzer that uses machine learning methods to detect dangerous behavior. The method of selecting important functions of Windows API to teach detection models using TF-IDF measure is proposed. Experiments were carried out to assess the effectiveness of the developed solution, which resulted in the discovery that the system is able to detect dangerous behavior of Windows kernel modules with sufficient accuracy.