Details

В данной работе продемонстрирован подход к решению задачи управления отправкой сообщений в установленное время в микросервисной архитектуре. Рассмотрены современные брокеры сообщений (Appache Kafka, RabbitMQ) и фреймворки, предоставляющие базовый механизм отправки сообщений с задержкой. Выявлены их особенности и недостатки, связанные с отсутствием гарантий обработки сообщения в указанное время, накладными расходами по потребляемой памяти и высокой нагрузкой при хранении сообщений на длительные промежутки времени от одного дня и больше. Описан алгоритм планировщика с учетом вышеуказанных недостатков аналогов. Планировщик реализован на языке C++ с применением системы управления базами данных Yandex Database. Протестирована работоспособность планировщика на соблюдение гарантий отправки сообщений. Сервис внедрен в инструмент для трекинга и аналитики приложений AppMetrica. Исследована работа сервиса в условиях высокой нагрузки. Проведено сравнение по временному отставанию сообщений и нагрузки на сеть с прошлым решением. Изложены выводы о применимости планировщика в высоконагруженной распределенной систему при решении задач отправки сообщений в установленное время.

This work presents an approach to solving the problem of managing the sending of messages at the specified time in a microservice architecture. Modern message brokers (Appache Kafka, RabbitMQ) and frameworks that provide a basic mechanism for sending messages with a delay are considered. Their features and disadvantages are identified, related to the lack of guarantees for processing messages at the specified time, overhead costs for memory consumption and high load when storing messages for long periods of time from one day or more. The scheduler algorithm is described taking into account the above disadvantages of analogues. The scheduler is implemented in C++ using the Yandex Database. The scheduler’s performance has been tested to ensure that the guarantees for sending messages are respected. The service is embedded in the AppMetrica application tracking and analytics tool. The operation of the service under high load conditions is investigated. A comparison was made on the time lag of messages and network load with the previous solution. The conclusions about the applicability of the scheduler in a highly loaded distributed system in solving the tasks of sending messages at the specified time are presented.

• <<Планировщик управления доставкой сообщений в распределенной системе с возможностью горизонтального масштабирования>>
  • Введение
  • 1. Обзор современных брокеров сообщений
  • 2. Обзор фреймворков, реализующих планировку отложенных сообщений
  • 3. Методы решения задач отправки отложенных сообщений
  • 4. Описание алгоритма работы планировщика доставкой сообщений в установленное время
  • 5. Программная реализация планировщика
  • 6. Тестирование и апробация
  • Заключение
• Тема выпускной квалификационной работы
  • Список использованных источников
• <<Планировщик управления доставкой сообщений в распределенной системе с возможностью горизонтального масштабирования>>
  • Приложение 1. Пример оформления protobuf
  • Приложение 2. Основной модуль программы планировщика