Details

Объект работы – процессы кэширования и управления кэш-памятью в распределённых информационных системах. Цель работы – исследование предиктивных алгоритмов кэширования и разработка универсальной встраиваемой системы адаптивного кэширования на основе методов машинного обучения. Методы работы – анализ научных публикаций и промышленных источников, сравнительный анализ политик LRU, LFU и адаптивных подходов, архитектурное проектирование, программная реализация микросервисного прототипа и экспериментальная проверка. Результаты работы – разработана архитектура с разделением пользовательского и аналитического контуров, реализованы сервисы обработки запросов, кэширования, накопления телеметрии, прогнозирования и предиктивного прогрева, подготовлены функциональные тесты, нагрузочный контур и средства наблюдаемости на базе Prometheus и Grafana. Используемые технологии – язык программирования Go для реализации пользовательского и инфраструктурного контуров, язык программирования Python для реализации сервиса машинного обучения, среда разработки IntelliJ IDEA для работы с исходным кодом, система кэширования Redis для хранения оперативных данных, СУБД ClickHouse для накопления телеметрии, Docker и Docker Compose для локального контейнерного развёртывания, Prometheus и Grafana для сбора и визуализации метрик, Make для автоматизации сборки, тестирования и запуска экспериментов. Область применения – распределённые сервисы, где требуется снижать задержку ответа и число обращений к первичным источникам данных. Выводы – проведённая апробация показала работоспособность прототипа, увеличение коэффициента попаданий относительно LRU во всех рассмотренных профилях нагрузки и необходимость дополнительной настройки предиктивного режима для сценариев с резкой сменой популярности объектов.

Object of the work – caching and cache-memory management in distributed information systems. Aim of the work – to study predictive caching algorithms and develop a universal embeddable adaptive caching system based on machine learning methods. Methods of the work – analysis of scientific publications and industrial sources, comparative analysis of LRU, LFU and adaptive policies, architectural design, software implementation of a microservice prototype and experimental verification. Results of the work – an architecture separating the user-facing and analytical paths was developed; services for request processing, caching, telemetry collection, prediction and predictive prewarming were implemented; functional tests, a load-testing loop and observability tools based on Prometheus and Grafana were prepared. Technologies used – the Go programming language for implementing the user–facing and infrastructure paths, the Python programming language for implementing the machine-learning service, the IntelliJ IDEA development environment for working with the source code, the Redis caching system for operational data storage, the ClickHouse DBMS for telemetry collection, Docker and Docker Compose for local container deployment, Prometheus and Grafana for metric collection and visualization, and Make for automating builds, tests and experiments. Application area – distributed services where it is necessary to reduce response latency and the number of requests to primary data sources. Conclusions – the conducted evaluation demonstrated the operability of the prototype, an increased hit ratio compared with LRU in all considered load profiles, and the need for additional tuning of the predictive mode for scenarios with abrupt changes in object popularity.

• Введение
• 1. Анализ методов кэширования и обоснование выбранного подхода
• 2. Проектирование системы адаптивного кэширования с использованием предиктивных моделей
• 3. Реализация системы адаптивного кэширования с предиктивным прогревом
• 4. Тестирование и апробация системы адаптивного кэширования
• Заключение
• Словарь терминов
• Список использованных источников
• Приложение 1 Исходный код Go-сервисов и платформенного слоя
• Приложение 2 Исходный код ML-сервиса и инфраструктурных файлов