Details

Работа посвящена разработке системы автоматической модерации пользовательского контента на основе нейронных сетей, встраиваемой в серверную часть микросервисного приложения. В работе решается задача автоматического анализа и цензурирования текстов и изображений с контентом категории 18+ для ограничения доступа нецелевой аудитории. Изучены современные архитектуры нейронных сетей и методы классификации изображений и текста. Сформированы два датасета – текстовый и графический – по семи категориям. На основе этих данных обучены нейросетевые модели для распознавания текста и изображений с применением transfer learning. Разработаны алгоритмы взаимодействия микросервиса модерации с основным приложением через брокер сообщений RabbitMQ, базу данных PostgreSQL и объектное хранилище MinIO. Программное средство реализовано на Java и Python с использованием Spring Boot, Torch, Transformers, FastAPI, и Docker и интегрировано в существующую микросервисную экосистему приложения. Асинхронная обработка контента снижает задержки на стороне клиента; реализованы гибкая настройка возрастного ценза и административный интерфейс для просмотра статистики срабатываний и обработки апелляций. Тестирование включало оценку точности моделей по метрикам F1 и accuracy, юнит- и интеграционное тестирование, а также анализ производительности системы (время обработки задач, потребление оперативной памяти) под нагрузкой, воспроизводящей условия реальной эксплуатации. Разработанная система автоматизирует модерацию мультимодального пользовательского контента, обеспечивает соблюдение возрастных ограничений в соответствии с Федеральным законом № 436-ФЗ и снижает нагрузку на модераторов. Применение микросервисной архитектуры и асинхронной обработки обеспечивает масштабируемость и производительность решения в рамках существующего технологического стека.

The present work is dedicated to the development of an automated user content moderation system based on neural networks, designed for integration into the server-side layer of a microservice application. The study addresses the task of automatic analysis and censorship of texts and images containing 18+ category content, with the objective of restricting access for non-target audiences. Contemporary neural network architectures and classification methods for images and text were examined. Two datasets – textual and graphical – were compiled across seven categories. On the basis of these data, neural network models for text and image recognition were trained with the application of transfer learning. Algorithms governing the interaction between the moderation microservice and the primary application were developed via RabbitMQ message broker, PostgreSQL database, and MinIO object storage. The software solution was implemented in Java and Python using Spring Boot, Torch, Transformers, FastAPI, and Docker, and integrated into the existing microservice ecosystem of the application. Asynchronous content processing reduces client-side latency; flexible age restriction configuration and an administrative interface for viewing trigger statistics and handling appeals were implemented accordingly. Testing encompassed evaluation of model accuracy using F1 and accuracy metrics, unit and integration testing, as well as performance analysis of the system – including task processing time and RAM consumption – under load conditions reproducing real-world operational scenarios. The developed system automates the moderation of multimodal user content, ensures compliance with age restrictions in accordance with Federal Law No. 436-FZ, and reduces the workload on human moderators. The application of microservice architecture and asynchronous processing provides scalability and performance of the solution within the existing technology stack.