Details

Данная работа направлена на разработку и экспериментальное обоснование метода распределённого обучения регрессионной модели с автоматизированной настройкой гиперпараметров алгоритмом DEEP и адаптивной агрегацией локальных обновлений в трёхуровневой архитектуре Client–Fog–Cloud. Объект исследования: процессы распределённого обучения регрессионных моделей в условиях децентрализованного хранения данных и статистической неоднородности клиентских выборок. Методы исследования: полностью параллельная разностная эволюция (DEEP), федеративное обучение (FedAvg), адаптивная агрегация на основе FedNolowe, рекуррентные нейронные сети (CNN-LSTM). В результате работы спроектирована трёхуровневая архитектура Client–Fog– Cloud, в которой Fog-узел выполняет эволюционный подбор гиперпараметров посредством DEEP, а Cloud-узел осуществляет глобальную агрегацию. Реализован программный прототип на языке Python 3.10. Экспериментальное исследование проведено на наборе данных UK Power Networks. Конфигурация с DEEP демонстрирует устойчивое превосходство над конфигурацией с фиксированными гиперпараметрами по метрикам MSE, MAE, MSLE, LogCosh, Huber и R2 на всех четырёх Client-узлах на протяжении семи раундов дообучения. Область применения - распределённые системы прогнозирования временных рядов на статистически неоднородных данных без централизации.

This work aims to develop and experimentally validate a method for distributed training of a regression model with automated hyperparameter tuning using the DEEP algorithm and adaptive aggregation of local updates in a three-tier Client–Fog–Cloud architecture. The subject of the study: the processes of distributed training of regression models under conditions of decentralised data storage and statistical heterogeneity of client samples. Research methods: fully parallel differential evolution (DEEP), federated learning (FedAvg), adaptive aggregation based on FedNolowe, recurrent neural networks (CNNLSTM). As a result of the work, a three-tier Client–Fog–Cloud architecture has been designed, in which the Fog node performs evolutionary hyperparameter tuning via DEEP, whilst the Cloud node carries out global aggregation. A software prototype has been implemented in Python 3.10. An experimental study was conducted on the UK Power Networks dataset. The configuration with DEEP demonstrates consistent superiority over the configuration with fixed hyperparameters on the MSE, MAE, MSLE, LogCosh, Huber and R2 across all four Client nodes over seven rounds of finetuning. The application area is distributed time series forecasting systems on statistically heterogeneous data without centralisation.

• ВВЕДЕНИЕ
• ТЕОРЕТИЧЕСКОЕ ОБОСНОВАНИЕ И ПОСТАНОВКА ЗАДАЧИ РАСПРЕДЕЛЁННОГО ОБУЧЕНИЯ РЕГРЕССИОННЫХ МОДЕЛЕЙ
  • Математическая постановка задачи
  • Проблемы распределённого обучения регрессионных моделей
  • Методы подбора гиперпараметров в условиях ограничений
  • Метод разностной эволюции
  • Трёхуровневая архитектура Client-Fog-Cloud
• ПРОЕКТИРОВАНИЕ АРХИТЕКТУРЫ РАСПРЕДЕЛЁННОГО ОБУЧЕНИЯ РЕГРЕССИОННЫХ МОДЕЛЕЙ С ИСПОЛЬЗОВАНИЕМ РАЗНОСТНОЙ ЭВОЛЮЦИИ
  • Формальная структура системы
  • Математическая постановка иерархической оптимизации
  • Адаптация DEEP для подбора гиперпараметров
    • Постановка проблем адаптации
    • Выбор валидационного узла
    • Перенос знаний из предыдущего раунда в следующий
  • Агрегация на Fog-узлах
  • Агрегация на Cloud-узле
• ПРОГРАММНАЯ РЕАЛИЗАЦИЯ И ЭКСПЕРИМЕНТАЛЬНАЯ СРЕДА
  • Инструменты и программно-аппаратный стек
  • Описание модели
    • Постановка задачи прогнозирования
    • Архитектура гибридной CNN-LSTM модели
    • Протокол обучения модели на Client-узлах
    • Набор данных и стратегия его распределения
  • Параметры эксперимента
    • Параметры архитектуры
    • Протокол проведения эксперимента
    • Анализ данных
    • Параметры DEEP
    • Параметры агрегации
• РЕЗУЛЬТАТЫ
  • Сравнительный анализ метрик на Client-узлах
  • Анализ результатов DEEP
  • Анализ результатов обучения модели
• ВЫВОДЫ
• ЗАКЛЮЧЕНИЕ
• СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ