Details

A/B-тест рассматривается как инструмент экспериментальной экономики и принятия управленческих решений в цифровых продуктах. Цель работы — систематизация, реализация и сравнительная оценка методов планирования A/B-экспериментов при разных сплит-пропорциях, а также разработка рекомендаций по выбору схемы распределения трафика. Методология включает аналитические расчёты мощности для бинарных, непрерывных и отношенческих метрик (z-подход для долей, аппроксимации для разности средних, учёт знаменателя для отношенческих метрик) и численную валидацию методом Монте-Карло с фиксированными параметрами воспроизводимости (seed и число прогонов). Расчёты реализованы на Python; разработан планировщик, вычисляющий power, MDE и требуемый объём 𝑁𝑟𝑒𝑞𝑢𝑖𝑟𝑒𝑑. Получены количественные оценки влияния дисбаланса: коэффициент штрафа 𝐾(𝑟) = 1/(4𝑟(1 − 𝑟)) равен 1.5625 для 80/20, ≈2.78 для 90/10 и ≈5.26 для 95/5; эти значения интерпретируются как множители к трафику для сохранения точности 50/50. Показано, что при фиксированном трафике мощность снижается и растёт MDE, что повышает риск ошибки второго рода и вероятность упустить экономически значимый эффект. Результаты применимы при планировании онлайн-экспериментов в условиях ограниченного трафика и ограничений риска по доле тестовой группы.

A/B testing is considered as a field randomized experiment used in experimental economics for managerial decision-making in digital products. The goal is to systematize, implement and comparatively evaluate A/B planning methods for different traffic splits and to provide practical guidelines for choosing the split ratio. The methodology combines analytical power calculations for binary, continuous and ratio metrics (z-based approximation for proportions, mean difference approximations, denominator-aware modeling for ratio metrics) with Monte Carlo validation under fixed reproducibility settings (seed and number of runs). The computations are implemented in Python; a planning module is developed to calculate power, MDE and required total sample size 𝑁𝑟𝑒𝑞𝑢𝑖𝑟𝑒𝑑. The thesis provides quantitative estimates of imbalance losses: the penalty coefficient 𝐾(𝑟) = 1/(4𝑟(1 − 𝑟)) equals 1.5625 for 80/20, about 2.78 for 90/10 and about 5.26 for 95/5, which can be interpreted as multipliers for the required traffic to match the 50/50 precision. The results show that, under fixed traffic, power decreases and MDE increases, leading to a higher risk of Type II errors and missed economically meaningful improvements. The findings can be applied to planning online controlled experiments under limited traffic and risk constraints on test exposure.