Детальная информация

This paper presents a family of kernel models based on metrics derived from the structure of decision trees and random forests. Unlike the standard random-forest proximity, which only checks whether two observations fall into the same leaf, the proposed metrics also use information about decision paths, the depth of their divergence, and the depth of their lowest common ancestor. A weighted variant with trainable depth-dependent parameters is also introduced. The tree-based metrics are aggregated over a forest and used to construct exponential kernels. They can also be combined with the Euclidean distance in the original feature space. We prove that the resulting kernels are positive semidefinite and can therefore be used in standard kernel methods, including Nadaraya-Watson regression and kernel ridge regression. The proposed models are evaluated on classification datasets and in a controlled source-to-target regression experiment with a limited number of labeled target observations. The results show that information about the internal structure of decision trees can be useful beyond simple leaf coincidence. Several proposed variants improve upon conventional geometric kernels and the standard random-forest proximity kernel, while the best-performing metric depends on the prediction method and the dataset.

В работе предложено семейство ядерных моделей, основанных на метриках, формируемых по структуре деревьев решений и случайных лесов. В отличие от стандартной меры близости случайного леса, которая учитывает только попадание двух объектов в один лист, предложенные метрики также используют информацию о путях в дереве, глубине их расхождения и глубине наименьшего общего предка. Кроме того, рассматривается взвешенная метрика с обучаемыми параметрами, зависящими от глубины дерева. Метрики отдельных деревьев агрегируются по лесу и используются для построения экспоненциальных ядер. Они также могут сочетаться с евклидовым расстоянием в исходном пространстве признаков. Для полученных ядер доказана положительная полуопределенность, что позволяет применять их в стандартных ядерных методах, включая регрессию Надарая-Уотсона и ядерную гребневую регрессию. Предложенные модели исследованы на задачах классификации и в контролируемом эксперименте по переносу структуры из исходной задачи в целевую задачу регрессии с малым числом размеченных наблюдений. Результаты показывают, что внутренняя структура деревьев может содержать полезную информацию, не ограниченную совпадением листьев. Несколько предложенных вариантов превосходят традиционные геометрические ядра и стандартное ядро близости случайного леса, при этом выбор наиболее подходящей метрики зависит от метода прогнозирования и набора данных.

Информатика, телекоммуникации и управление = Computing, Telecommunications and Control. — Санкт-Петербург: СПбПУ, 2020-. — Электрон. журнал. — Периодичность: 4 раза в год. — Свободный доступ из сети Интернет (чтение, печать, копирование). — Текст: электронный

Информатика, телекоммуникации и управление = Computing, Telecommunications and Control. — Санкт-Петербург: СПбПУ, 2020-. Т. 19, № 3, 2026. — 1 файл (8,8 Мб). — Свободный доступ из сети Интернет (чтение, печать, копирование). — <URL:http://elib.spbstu.ru/dl/2/j26-290.pdf>.