Details

В монографии излагаются вопросы применения функций мультимедийных библиотек и нейронных сетей для обработки изображений и видеоинформации. Представленные программы позволяют создавать новые элементы искусства. В алгоритмах обработки используются функции библиотек OpenCV, FFmpeg, Pillow и др. Приведены 100 примеров полностью рабочих программ, написанных на языке Python. Примеры разделены по главам: «Алгоритмы трансформации изображений», «Алгоритмы трансформации и преобразования видео», «Произведения искусства и нейронные сети». Представленные примеры являются программами, которые написаны студентами Высшей школы программной инженерии Санкт-Петербургского политехнического университета Петра Великого. Монография предназначена для студентов, начинающих инженеров и специалистов в области применения видеосистем и разработки программного обеспечения для обработки изображений. Примеры программ позволяют познакомиться с возможностями обработки изображений, в том числе с применением нейронных сетей. Монография может быть полезна студентам, проходящим подготовку по направлениям 09.03.01 «Информатика и вычислительная техника», 09.03.04 «Программная инженерия».

The monograph discusses the application of functions from multimedia libraries and neural networks for image and video information processing. The presented programs enable the creation of new artistic elements. The processing algorithms utilize functions from libraries such as OpenCV, FFmpeg, Pillow, and others. The book provides 100 fully working program examples written in Python. The examples are organized into chapters: image transformation algorithms, video transformation and processing algorithms, art and neural networks. The presented examples are programs written by students of the Higher School of Software Engineering at Peter the Great St. Petersburg Polytechnic University. The monograph is intended for students, beginning engineers, and specialists in the field of video systems and software development for image processing. The program examples offer insight into image processing capabilities, including the use of neural networks. The monograph may be useful for students studying in the fields of 09.03.01 ‘Informatics and Computer Engineering’ and 09.03.04 ‘Software Engineering’.

• Оглавление
• Введение
• Глава 1. Мультимедийные библиотеки
• 1.1. Библиотека OpenCV
• 1.2. Библиотека FFmpeg
• 1.3. Библиотека Pillow
• 1.4. Нейронные сети
• Глава 2. Алгоритмы трансформации изображений
• 2.1. Перенос стилей между изображениями. VGG-19
• 2.2. Раскраска черно-белого изображения. Keras Sequential
• 2.3. Осветление фона портретных снимков с помощью нейросети
• 2.4. Смена цветовой палитры картины
• 2.5. Замена заднего фона картинки с помощью библиотеки rembg
• 2.6. Обработка изображений с эффектом масляной живописи
• 2.7. Скрытие нежелательных жестов
• 2.8. Анимация с эффектом "волны" на фоне изображения
• 2.9. Расширение глаз на картине
• 2.10. Создание портрета с прозрачным или заменённым фоном
• 2.11. Сегментация и трансформация изображения
• 2.12. Контурное выделение в изображении
• 2.13. Превращение рисунка в выбранный стиль искусства
• 2.14. Стилизация изображения с применением размытия на основе фильтра Гаусса
• 2.15. Преобразование фотографии в картину в стиле пуантилизма
• 2.16. Раскраска комиксов
• 2.17. Преобразование объекта в изображение low poly art
• 2.18. Музыкальные геометрические фигуры
• 2.19. Приложение для применения различных художественных эффектов к изображению
• 2.20. Переворачивание глаз
• 2.21. Визуализация 3D моделей
• 2.22. Преобразование изображения под стиль рисования карандашом
• 2.23. Создание картины в стиле Эдвард Мунк
• 2.24. Пиксельный арт: превращение реальности в цифровое искусство
• 2.25. Генерация паттернов на основе математических формул
• 2.26. Преобразование изображения в стиль импрессионизма
• 2.27. Выделение контуров на картине и их последующая раскраска на примере работ Пабло Пикассо
• 2.28. Преобразование CSV/JSON в абстрактные изображения
• 2.29. Рисование очков на лицах
• 2.30. Преобразования изображения из дня в ночь с добав лением звезд на небе
• 2.31. Повышение разрешения изображений
• 2.32. Преобразование изображения в ретро стиль
• 2.33. Создания стильных low-poly портретов
• 2.34. Преобразование изображения и GIF-анимации в цветной ASCII-арт
• 2.35. Преобразование изображения в стиль китайской тушной живописи
• 2.36. Намокание и капли на изображении
• Глава 3. Алгоритмы трансформации и преобразования видео
• 3.1. Волнообразное изменение цвета
• 3.2. Размножение и сборка объектов в анимации
• 3.3. Замена лица в мультфильме
• 3.4. Замена губ на лице в видео
• 3.5. Поп-арт в видео
• 3.6. Синхронизация движения губ с аудиофайлами (липсинк)
• 3.7. Графические узоры
• 3.8. Оживление картины
• 3.10. Применение алгоритма Neural-Style (перенос стиля изображения) на видео
• 3.11. Простое перетекание изображений
• 3.12. Анимация картины на основе движений из управляющего видео. First Order Motion Model for Image Animation
• 3.13. Представление живых картин во сне
• 3.14. Синтез живого шаржа
• 3.15. Имитация акварельной живописи на видео
• 3.16. Живой шарж по примеру Andre Salmon
• 3.17. Изменение цветовой схемы видео согласно громкости аудио
• 3.18. Стилизация изображений на основе эмоций пользователя в реальном времени. DeepFace и TransformerNet
• 3.19. Создание видео во вращающемся круге из картинки
• 3.20. Последовательное применение фильтров на видео
• 3.21. Создания видео из изображения с добавлением аудиодорожки
• 3.22. Детекция улыбки и создание визуального эффекта
• 3.23. Переливные картины. Стилизация изображений на основе положения пользователя в кадре
• 3.24. Анимация в стиле синематографического фильма
• 3.25. Добавление эффекта теневого шлейфа к видеоряду
• 3.26. Создание аудиооткрыток по голосовому запросу с генерацией изображений
• 3.27. Генерация коротких видео
• 3.28. Оживление портретов
• 3.29. Создание простых анимаций (вращение, трансформация)
• 3.30. Визуализация аудио данных в стиле музыкального эквалайзера
• 3.31. Добавление на статичное изображение дождя на фоне и размытие на переднем плане
• 3.32. Исчезающие шедевры: имитация разрушения картины под воздействием огня
• 3.33. Наложение разноцветного дождя с изменением во времени
• 3.34. Визуальные эффекты в виде частиц (Степанов Геннадий)
• 3.35. Смена цветовой палитры картины во времени
• Глава 4. Произведения искусства и нейронные сети
• 4.1. Синтез зашумленных изображений в пиксель-арт. PixelDiffusionModel
• 4.2. Оживление картин с помощью I2VGen-XL
• 4.3. Преобразование фотографий реальных сцен в изображения в стиле аниме. AnimeGANv2
• 4.4. Перетекание изображений. Keras
• 4.5. Анализ стилей искусства в живописи. TensorFlow
• 4.6. Преобразование изображений с помощью img2img модели Stable Diffusion
• 4.7. Генерация изображения по музыке. PyTorch, librosa
• 4.8. Медитативный визуализатор музыки
• 4.9. Генерация изображения по тексту и вспомогательному изображению. Diffusers
• 4.10. Формирование изображения из произвольных слов. g4f
• 4.11. Классификация произведений искусства по автору с помощью нейросети ResNet50V2
• 4.12. Генерация Audio Reactive видео на основе музыки. Librosa
• 4.13. Применение неоновых эффектов для визуализации динамических объектов в видео. Deepabv3
• 4.14. Наложение фильтра на видео на основе произвольной картинки. Arbitrary-image-stylization
• 4.15. Генерация мемов при помощи нейронных сетей. DeepSeekV3
• 4.16. Преобразование файлов черно-белого изображений в цветные версии со стилями акварель, набросок на холсте, масляная живопись. Colorful Image Colorization
• 4.17. Преобразование видео к выбранному художественному стилю. NovaAnimeXL_ilV60
• 4.18. «Обезличивание» картин. MediaPipe
• 4.19. Анимация перехода между сезонами. Stable Diffusion
• 4.20. Анализ картины Blip моделью для генерации описания и создания нового gif-изображения моделью AnimateDiffPipeline
• 4.21. Вращение 3D модели жестами рук. MediaPipe, Open3D
• 4.22. Распознавание художественных стилей. EfficientNet
• 4.23. Стохастическая репалитризация изображений на основе семантической сегментации. SAM
• 4.24. Нейросетевая триангуляция изображения. DeepLabV3
• 4.25. Генерация картин с помощью текстового запроса. Stable Diffusion
• 4.26. Генерация пейзажей по маске с использованием SPADE
• 4.27. Преобразование изображения в мозаику. ResNet18
• 4.28. Генерация абстрактного фона на основе анализа настроения стихотворения. Emotion English DistilRoBERTa-base
• 4.29. Синтез картины из нескольких. Stable Diffusion
• Заключение
• Список литературы