Детальная информация

В работе исследуется применение модели Real-Time Intermediate Flow Estimation (RIFE) для автоматической генерации промежуточных кадров в целях повышения частоты кадров в секунду (FPS) в игровых приложениях. Разработан программный модуль, интегрирующий дообученную модель RIFE с графическими API DirectX 11/12 через ONNX Runtime и DirectML Execution Provider. Предложена стратегия дообучения модели на специализированном датасете HD544p, содержащем динамичные игровые сцены с резкими поворотами камеры и быстрым движением объектов. Расширена функция потерь за счет шумовой компоненты для уменьшения артефактов растеризации. Результаты апробации показали повышение метрик качества с PSNR = 22.95 до 33.05 dB и SSIM = 0.887 до 0.956. Время инференса составляет 12-28 мс в зависимости от разрешения, что обеспечивает работу в реальном времени. Предложенное решение позволяет повысить плавность отображения в играх без увеличения нагрузки на цикл рендеринга.

This work investigates the application of the Real-Time Intermediate Flow Estimation (RIFE) model for automatic generation of intermediate frames to increase frames per second (FPS) in gaming applications. A software module has been developed that integrates a fine-tuned RIFE model with DirectX 11/12 graphics APIs through ONNX Runtime and DirectML Execution Provider. A fine-tuning strategy is proposed for the model on the specialized HD544p dataset containing dynamic gaming scenes with sharp camera rotations and fast object movement. The loss function is extended with a noise component to reduce rasterization artifacts. Evaluation results showed improved quality metrics from PSNR = 22.95 to 33.05 dB and SSIM = 0.887 to 0.956. Inference time ranges from 12-28 ms depending on resolution, ensuring real-time performance. The proposed solution enables smoother display in games without increasing the rendering pipeline load.

• Задание_ВКР_Гребнев (5).pdf
  • Физико-механический институт
  • ЗАДАНИЕ
• Гребнев Глеб, ВКР последний.pdf
  • Использование нейросетей для повышения FPS путем генерации кадров
    • Введение
    • 1. ПОСТАНОВКА ЗАДАЧИ
    • 2. АНАЛИЗ СУЩЕСТВУЮЩИХ РЕШЕНИЙ
    • 3. ИССЛЕДОВАНИЕ ВЫБРАННОГО ПОДХОДА
    • 4. Разработка улучшенного подхода
    • 5. Интеграция модели в графический конвейер
    • 6. Результаты и их сравнительный анализ
    • Заключение
    • Список использованных источников
    • Приложение 1. Примеры результатов видеоинтерполяциие