Details

Нейрорендеринг — применение нейросетевых моделей для замены или дополнения отдельных этапов синтеза изображения. В работе исследуется нейрорендеринг объемных облаков в приложениях реального времени: дорогостоящая оценка освещения физически мотивированной шейдерной модели заменяется MLP. Реализован пайплайн от формирования набора данных из 24000 примеров до экспорта модели в шейдер Godot 4. Лучшая Two-head XGBoost-модель достигла RMSE 8,27 · 10−4, дистиллированная MLP — 1,15 · 10−3. Исследованы легкая, сбалансированная и высокоточная MLP со временем кадра 6,91, 46,28 и 92,27 мс соответственно. По 18 000 синхронизированным парам классической симуляции и высокоточной модели средние значения RMSE, SSIM и частотного расстояния составили 0,02181, 0,95298 и 0,46132. Результаты показывают компромисс между вычислительной стоимостью и сохранением визуальной структуры облаков. Разработанный прототип применим для исследования нейросетевых приближений в графических конвейерах реального времени и демонстрирует необходимость совместной оценки скорости, попиксельной ошибки и частотной структуры изображения.

Neural rendering is the use of neural models to replace or augment individual stages of image synthesis. The thesis studies neural rendering of volumetric clouds for real-time graphics by replacing an expensive lighting evaluation in a physically motivated shader with an MLP. The implemented pipeline covers generation of a 24000-sample dataset, model training, and MLP export into a Godot 4 shader. The best Two-head XGBoost model achieved an RMSE of 8.27 · 10−4, while the distilled MLP achieved 1.15 · 10−3. Lightweight, balanced, and high-accuracy MLP variants were evaluated with frame times of 6.91, 46.28, and 92.27 ms. Across 18,000 synchronized pairs of classical-simulation and high-accuracy-model renders, the mean RMSE, SSIM, and frequency distance were 0.02181, 0.95298, and 0.46132. The results demonstrate the trade-off between computational cost and preservation of cloud image structure. The prototype is applicable to the study of neural approximations in real-time graphics pipelines and demonstrates the need to evaluate frame time, pixel error, and image frequency structure jointly.