Бакалаврская дипломная работа посвящена оптимизации распределения моделей машинного обучения по узлам в платформе инференса в компании «Одноклассники». Основной целью является уменьшение дисбаланса нагрузки между серверами. Также важной особенностью было то, что необходимо реализовать алгоритм в распределенной системе, который будет выполняться только на одном узле в кластере в каждый момент времени. В рамках работы представлен анализ платформ инференса и их подходов к распределению моделей, а также было проведено сравнение общих алгоритмов распределения.  В результате реализованный в виде программного решения алгоритм, запущенный в продакшн-среде, позволил сократить разброс в нагрузке на сервера.

The Bachelors thesis is devoted to optimizing the distribution of machine learning models across nodes in the inference platform at Odnoklassniki. The main goal is to reduce the load imbalance between servers. Also an important feature was that it is necessary to implement the algorithm in a distributed system, which will be executed only on one node in the cluster at each moment of time. The work presents an analysis of inference platforms and their approaches to model distribution, and a comparison of common distribution algorithms was made.  As a result, the algorithm implemented as a software solution running in a production environment has reduced the variation in server load.

• Список сокращений и определений
• Введение
• Глава 1. Анализ предметной области
  • 1.1. Основные принципы работы сервисов инференса моделей
  • 1.2. Обзор существующих решений
• Глава 2. Обоснование выбора технологий и средств разработки
• Глава 3. Проектирование архитектуры предлагаемого решения
  • 3.1. Проблемы распределенных систем
    • 3.1.1. Проблема консенсуса
    • 3.1.2. Ненадежные сети
  • 3.2. С4 Диаграмма
  • 3.3. Блок-схема алгоритма распределения
  • 3.4. Учет ограничений при распределении
  • 3.5. Оптимизация работы алгоритма
  • 3.6. Взаимодействие с Druid и поисковые запросы
• Глава 4. Реализация предложенного алгорита
  • 4.1. Реализация взаимодействия между хостами с помощью one-nio RPC
  • 4.2. Реализация обращений в Druid
  • 4.3. Реализация алгоритма
  • 4.4. Тестирование алгоритма
    • 4.4.1. Тест-кейсы
• Глава 5. Результаты
• Заключение
• Список использованных источников