Details
| Title | Kernel Regression with Tree-Induced Metrics = Ядерная регрессия с индуцированными деревьями метриками // Информатика, телекоммуникации и управление = Computing, Telecommunications and Control. – 2026. – Т. 19, № 3. — С. 29-45 |
|---|---|
| Creators | Goriunov M. I. ; Konstantinov A. V. ; Novikov F. A. |
| Imprint | 2026 |
| Collection | Общая коллекция |
| Subjects | Вычислительная техника ; Представление данных ; Физика ; Ядерная физика в целом ; kernel regression ; induced trees ; metric trees ; nuclear models ; Nadaraya-Watson regression ; regression of Nadaraya-Watson ; kernel ridge regression ; random forests ; ядерная регрессия ; индуцированные деревья ; деревья метрик ; ядерные модели ; Регрессия Надарая-Уотсона ; Надарая-Уотсона регрессия ; ядерная гребневая регрессия ; случайные леса |
| UDC | 004.22; 539.1 |
| LBC | 32.973-02; 22.38 |
| Document type | Article, report |
| Language | English |
| DOI | 10.18721/JCSTCS.19303 |
| Rights | Свободный доступ из сети Интернет (чтение, печать, копирование) |
| Additionally | New arrival |
| Record key | RU\SPSTU\edoc\80318 |
| Record create date | 11/13/2026 |
This paper presents a family of kernel models based on metrics derived from the structure of decision trees and random forests. Unlike the standard random-forest proximity, which only checks whether two observations fall into the same leaf, the proposed metrics also use information about decision paths, the depth of their divergence, and the depth of their lowest common ancestor. A weighted variant with trainable depth-dependent parameters is also introduced. The tree-based metrics are aggregated over a forest and used to construct exponential kernels. They can also be combined with the Euclidean distance in the original feature space. We prove that the resulting kernels are positive semidefinite and can therefore be used in standard kernel methods, including Nadaraya-Watson regression and kernel ridge regression. The proposed models are evaluated on classification datasets and in a controlled source-to-target regression experiment with a limited number of labeled target observations. The results show that information about the internal structure of decision trees can be useful beyond simple leaf coincidence. Several proposed variants improve upon conventional geometric kernels and the standard random-forest proximity kernel, while the best-performing metric depends on the prediction method and the dataset.
В работе предложено семейство ядерных моделей, основанных на метриках, формируемых по структуре деревьев решений и случайных лесов. В отличие от стандартной меры близости случайного леса, которая учитывает только попадание двух объектов в один лист, предложенные метрики также используют информацию о путях в дереве, глубине их расхождения и глубине наименьшего общего предка. Кроме того, рассматривается взвешенная метрика с обучаемыми параметрами, зависящими от глубины дерева. Метрики отдельных деревьев агрегируются по лесу и используются для построения экспоненциальных ядер. Они также могут сочетаться с евклидовым расстоянием в исходном пространстве признаков. Для полученных ядер доказана положительная полуопределенность, что позволяет применять их в стандартных ядерных методах, включая регрессию Надарая-Уотсона и ядерную гребневую регрессию. Предложенные модели исследованы на задачах классификации и в контролируемом эксперименте по переносу структуры из исходной задачи в целевую задачу регрессии с малым числом размеченных наблюдений. Результаты показывают, что внутренняя структура деревьев может содержать полезную информацию, не ограниченную совпадением листьев. Несколько предложенных вариантов превосходят традиционные геометрические ядра и стандартное ядро близости случайного леса, при этом выбор наиболее подходящей метрики зависит от метода прогнозирования и набора данных.
| Network | User group | Action |
|---|---|---|
| ILC SPbPU Local Network | All |
|
| Internet | All |
|
