Details

The purpose of this study is to evaluate various existing models and then to develop a hybrid ensemble architecture combining VAR, GRU, and XGBoost to predict the energy consumption of a steel factory for different horizons. Finally, we developed a web application to allow users to make predictions. The research sets the following goals: 1. Analysis modern studies in the field of predictive analytics and forecasting. 2. Studying and evaluating the most widely used models, both statistical and neural networks-based to predict the energy consumption of a steel factory over various horizon (1 hour, 24 hours, 168 hours). 3. Development of a hybrid model combining VAR, GRU and XGBoost, using ensemble learning technique. 4. Comparative analysis between existing methods and the developed hybrid ensemble model. During this study, we analyzed both statistical methods such as SARIMA, VAR and Prophet and neural network-based methods such as N-BEATS, LSTM and GRU. We compared their results and analyzed their drawbacks and advantages. Finally, we built a hybrid ensemble architecture that combines VAR, GRU as base learners and XGBoost as meta model. The results show that the hybrid ensemble architecture we have developed outperforms existing methods tested in this study for horizons of 24 hours and 168 hours.

Цель данного исследования — оценить различные существующие модели, а затем разработать гибридную ансамблевую архитектуру, объединяющую VAR, GRU и XGBoost для прогнозирования потребления энергии сталелитейного завода на различные горизонты прогнозирования. Наконец, было разработано веб-приложение, позволяющее пользователям выполнять прогнозы. Исследование ставит следующие цели: 1. Анализ современных исследований в области предиктивной аналитики и прогнозирования. 2. Изучение и оценка наиболее широко используемых моделей — как статистических, так и основанных на нейронных сетях — для прогнозирования энергопотребления сталелитейного завода на различных горизонтах. (1 час, 24 часа, 168 часов) 3. Разработка гибридной модели, объединяющей VAR, GRU и XGBoost с использованием ансамблевого метода обучения. 4. Проведение сравнительного анализа между существующими методами и разработанной моделью. В ходе данного исследования мы проанализировали как статистические методы, такие как SARIMA, VARи Prophet, так и методы, основанные на нейронных сетях, такие как N-BEATS, LSTMи GRU. Мы сравнили полученные результаты и оценили преимущества и недостатки каждого метода. В конечном итоге мы разработали гибридную ансамблевую архитектуру, которая объединяет VARи GRU в качестве базовых моделей, а XGBoost — в качестве мета-модели. Результаты показывают, что разработанная гибридная ансамблевая архитектура превосходит существующие методы, протестированные в данном исследовании, на горизонтах прогнозирования 24 и 168 часов.

• LIST OF ABREVIATIONS
• INTRODUCTION
• 1 Related work and current research on the subject
• 2 What is predictive analytics?
• 3 Problem definition
• 4 Technologies used
• 5 Exploratory data analysis of the dataset (EDA)
• 6 Theory and application of existing predictive analysis methods
  • 6.1 Initial conditions for the assessments of the different existing methods
  • 6.2 Recurrent neural network (RNN) approach
    • 6.2.1 Forecasting strategy selection
    • 6.2.2 Selected recurrent neural network models definition
      • 6.2.2.1 LSTM Definition
      • 6.2.2.2 GRU definition
    • 6.2.3 Selected neural network models configuration
    • 6.2.4 Prediction results recurrent neural networks
  • 6.3 SARIMA approach
    • 6.3.1 SARIMA model definition
    • 6.3.2 SARIMA parameters definition and configuration
    • 6.3.3 Prediction results SARIMA
  • 6.4 Prophet approach
    • 6.4.1 Prophet model definition
    • 6.4.2 Prophet parameters selection and configuration
    • 6.4.3 Prediction results prophet
  • 6.5 Vector autoregression (VAR) approach
    • 6.5.1 VAR model definition
    • 6.5.2 VAR parameters definition and configuration
    • 6.5.3 Prediction results vector autoregression
  • 6.6 N-BEATS approach
    • 6.6.1 N-BEATS model definition
    • 6.6.2 Prediction results N-BEATS
  • 6.7 Results obtained with existing predictive analytitcs methods
• 7 Development of a hybrid ensemble architecture combining VAR, GRU, and XGBoost for temporal prediction
  • 7.1 What is an ensemble model?
  • 7.2 Process for building hybrid ensemble architecture
  • 7.3 Pre-processing
    • 7.3.1 Wavelet denoising
    • 7.3.2 Encode the day of the week
    • 7.3.3 Date transforms into sinus and cosines signal
    • 7.3.4 Remove multi-colinearity
    • 7.3.5 Create sliding window for GRU training
  • 7.4 Models’ configuration
    • 7.4.1 Base learner: GRU and VAR
    • 7.4.2 Meta-model: XGBoost
  • 7.5 Results
• CONCLUSIONS
• REFERENCES
• APPENDIX A
• APPENDIX B