Частотный подход к дизайну эксперимента

Подход Fixed Horizon

Эксперименты с частотным подходом на платформе проводятся, как правило, по методологии Fixed Horizon. Она подразумевает:

• определение ключевых метрик в эксперименте
• определение длительности эксперимента, исходя из ожиданий по изменению метрик (на основе MDE)
• анализ эксперимента по прохождению планируемой длительности

При этом данные по эксперименту в основном отчете формируются каждый день, что может использоваться в целях мониторинга работы новой функциональности.

Почему нельзя определять длительность эксперимента на ходу?

Есть несколько причин, почему это плохо:

• это приводит к проблеме подглядывания, также называемой p-hacking. При продлении эксперимента с целью получить ожидаемый прокрас с большой вероятностью он будет получен, но вероятность ложного прокраса в таком случае очень высока. Для принятия решения опираясь на текущее значение метрики нужно использовать другую методологию.
• во-вторых, неопределенная длительность уменьшает прозрачность процессов в компании. Если, например, мы хотим провести другой эксперимент на эту же функциональность, мы вынуждены дождаться окончания этого эксперимента. Однако время его окончания может регулярно меняться из-за продления, что делает момент запуска менее предсказуемым.

Можно ли изменить длительность у уже запущеного эксперимента?

Нет, продление эксперимента в общем случае не допускается.

При этом мы понимаем границы между формальной методологией и практической составляющей экспериментов. В некоторых случаях (например, изменение дисперсии метрики, повлекшее недооценку MDE) разовое продление эксперимента на конкретный срок может быть оправдано.

Продлить эксперимент в сложных ситуациях могут сотрудники платформы. Для этого можно написать в канал ~ab-central-help с описанием причины, по которой возникла необходимость продлить эксперимент.

Что произойдет по окончанию плановой длительности эксперимента?

Зависит от настроек эксперимента.

При настройке запуска(трафика) эксперимента в модалке есть переключатель "Раздавать фичи после завершения". Пример с выключенным переключателем приведен на рисунке ниже.

При включенном флаге эксперимент после окончания перейдет в статус раздача фичей, в противном случае эксперимент завершится.

Про раздачу фичей

В этом статусе пользователи продолжают наблюдать эксперимент абсолютно также, как если бы эксперимент был активен. Разница фактически состоит лишь в том что мы перестаем собирать метрики по эксперименту.

Обратите внимание, что если эксперимент завершился (статус Ended), перейти обратно в раздачу фичей не получится. Это связано с тем, что мы освобождаем место на слое под другие эксперименты после завершения эксперимента.

Как оценить MDE для эксперимента

На странице метрики есть SQL для расчета MDE. Можно использовать для оценки трафика и длительности эксперимента.

Как пользоваться:

1. Найти метрику в реестре метрик
2. Скопировать код из SQL-снипета на карточке метрики (SQL, MDE).
3. Установить параметры: трафик на группу, количество дней, альфу, бету
4. Дописать условия на платформу, разрезы при необходимости
5. Выполнить скрипт, в одном из полей результата будет MDE (в процентах)

В настоящий момент это основной способ расчета MDE, мы прорабатываем решение по реализации более функционального калькулятора.