Details

Данная работа посвящена разработке методики проведения A/B-эксперимента с учётом Network-эффекта для социальной сети. В ходе работы были изучены существующие методики определения сетевого эффекта, разработана собственная методика проведения A/B-экспериментов социальной сети с учётом сетевого эффекта, разработана платформа для запуска A/B-экспериментов социальной сети с учётом сетевого эффекта и проведено тестирование новой методики. Предлагаемая методика проведения A/B-экспериментов социальной сети заключается в использовании одной аудитории в обеих ветках параллельного эксперимента. Она подразумевает формирование эго-кластеров для включения только в тестовую группу, что позволяет расширить аудиторию для анализа. Ответ на вопрос, был ли соблюден критерий независимости групп, будет получаться на основе сравнения результатов в двух ветках эксперимента, и, если сетевой эффект был обнаружен, A/B-тест следует оценивать по кластерной ветке, иначе - по индивидуальной. В работе приведено сравнение новой методики с классическим A/B-экспериментом без учёта сетевого эффекта и со стандартным параллельным экспериментом.

This thesis is dedicated to developing a methodology for conducting A/B test-ing with consideration of the Network effect for a social network. Throughout the study, existing methodologies for determining the network effect were examined. A proprietary methodology for conducting A/B testing in a social network with consideration of the network effect was developed. Additionally, a platform for launching A/B tests in a social network with consideration of the network effect was developed, and testing of the new methodology was conducted. The proposed methodology for conducting A/B testing in a social network involves using one audience in both branches of a parallel experiment. It entails form-ing ego-clusters for inclusion only in the test group, which allows expanding the audience for analysis. The answer to whether the criterion of group independence was met will be derived from comparing the results in the two branches of the experiment. If a network effect is detected, the A/B test should be evaluated based on the cluster branch; otherwise, it should be evaluated based on the individual branch. This thesis provides a comparison of the new methodology with the classical A/B experiment without considering the network effect and with the standard paral-lel experiment.