Details

В этом исследовании сравнивается эффективность различных стратегий мутации разностной эволюции (DE) при настройке гиперпараметров алгоритма машинного обучения CatBoost в рамках приближенных байесовских вычислений с разностной эволюцией (ABCDE). Мы пытаемся оптимизировать три гиперпараметра: скорость обучения, глубину и регуляризацию L2, используя пять стратегий DE: rand/1, best/1, hybrid, current-to-best/1 и rand-to-best/1. Гиперпараметры итеративно оптимизировались с использованием метода последовательного Монте-Карло (SMC) для приближения апостериорного распределения оптимальных значений. В этом проекте демонстрируется, как выбор стратегии DE повлияет на эффективность и результативность реализации процесса оптимизации гиперпараметров, основанного на ABC, для сложной нелинейной модели, такой как CatBoost.

This research compares different mutation strategies in differential evolution (DE) for tuning the hyperparameters of the CatBoost machine learning algorithm within the Approximate Bayesian Computation with Differential Evolution (ABCDE) framework. We aim to optimize three hyperparameters: learning rate, depth, and L2 regularization using five DE strategies: rand/1, best/1, hybrid, current-to-best/1, and rand-to-best/1. The hyperparameters are iteratively optimized using a sequential Monte Carlo (SMC) method to approximate the posterior distribution of the optimal values. This project demonstrates how the choice of DE strategy impacts the efficiency and effectiveness of ABC-based hyperparameter optimization process for a complex nonlinear model such as CatBoost.

• 1. Введение
• 2. Цель и задачи исследования
• 3. Математическая подготовка
  • 3.1. Приближенное байесовское вычисление (ABC)
  • 3.2. Разностная эволюция (DE)
  • 3.3. ABC с DE (ABCDE)
  • 3.4. Стратегии мутации
    • I. Rand/1
    • II. Best/1
      • III. Гибрид (hybrid):
    • IV. Current-to-best/1
    • V. Rand-to-best/1
• 4. Экспериментальная установка
  • 4.1. Набор данных и задача
  • 4.2. Метрика оценки
  • 4.3. Конфигурация ABCDE
  • 4.4. Стратегии разностной эволюции
  • 4.5. Кроссовер
  • 4.6. Описание программы
• 5. Результаты
  • 5.1 Апостериорная эволюция и тенденции среднеквадратичной ошибки
    • Стратегия Rand/1
    • Best/1 стратегия
    • Гибридная Стратегия (hybrid)
    • Current-to-best/1 Стратегия
    • Стратегия Rand-to-best/1
  • 5.2. Сводка алгоритма и лучших результатов
• 6. Выводы
• 7. Заключение
• 8. Ссылки (Список Использованных Источников)