Details

Основная цель данного исследования – разработка и интеграция модуля для расчета производных признаков в реальном времени, который позволит повысить качество ранжирования товаров на маркетплейсе и снизить накладные расходы на обработку данных. В ходе исследования решались следующие задачи: 1) Обзор современных подходов к реализации динамических вычислений, их сравнительный анализ и выбор оптимального варианта; 2) Разработка эффективного модуля для расчета производных признаков; 3) Интеграция разработанного решения в существующую систему ранжирования. В работе были рассмотрены подходы к написанию модуля расчета математических выражений на Java: интеграция интерпретатора JavaScript и разработка предметно-ориентированного языка (DSL, domain-specific language) на основе описаний контрактов через Protocol Buffers. Для сравнительного анализа производительности реализованных прототипов применялся фреймворк Java Microbenchmark Harness (JMH). По итогам анализа был выбран DSL-подход, показавший преимущество по скорости работы. Проведено нагрузочное тестирование с использованием Yandex.Tank. Разработанный модуль успешно выдержал нагрузку в 20 000 RPS: 99-й перцентиль времени отклика увеличился менее чем на 1%. В промышленном A/B-тесте подтверждено повышение качества ранжирования – конверсия из поисковой сессии в заказ выросла на 0.46%. Дополнительно удалось снизить нагрузку на инфраструктуру: сокращено использование ресурсов Redis и Hadoop Distributed File System (HDFS) на 30%.

The main goal of this research is to develop and integrate a real-time module for calculating derived features, aimed at improving product ranking quality on a marketplace while reducing data processing overhead. The study addressed the following objectives: 1) Review of modern approaches to implementing dynamic computations, their comparative analysis, and selection of the optimal solution; 2) Development of an efficient module for calculating derived features; 3) Integration of the developed solution into the existing ranking system. The work explored approaches to implementing a mathematical expression evaluation module in Java: integration of a JavaScript interpreter and development of a domain-specific language (DSL) based on contract definitions using Protocol Buffers. To compare the performance of the implemented prototypes, the Java Microbenchmark Harness (JMH) framework was used. Based on the benchmark results, the DSL-based approach demonstrated superior execution speed and was selected for further development. Load testing was conducted using Yandex.Tank. The developed module successfully handled a load of 20,000 RPS: the 99th percentile response time increased by less than 1%. An industrial A/B test confirmed an improvement in ranking quality – the conversion rate from a search session to a completed order increased by 0.46%. Additionally, the system infrastructure load was reduced: Redis and Hadoop Distributed File System (HDFS) resource usage decreased by 30%.