Перейти к основному содержимому

Частотный подход к дизайну эксперимента

Подход Fixed Horizon​

Эксперименты с частотным подходом на платформе проводятся, как правило, по методологии Fixed Horizon. Она подразумевает:

  • определение ключевых метрик в эксперименте
  • определение длительности эксперимента, исходя из ожиданий по изменению метрик (на основе MDE)
  • анализ эксперимента по прохождению планируемой длительности

При этом данные по эксперименту в основном отчете формируются каждый день, что может использоваться в целях мониторинга работы новой функциональности.

Почему нельзя определять длительность эксперимента на ходу?​

Есть несколько причин, почему это плохо:

  • это приводит к проблеме подглядывания, также называемой p-hacking. При продлении эксперимента с целью получить ожидаемый прокрас с большой вероятностью он будет получен, но вероятность ложного прокраса в таком случае очень высока. Для принятия решения опираясь на текущее значение метрики нужно использовать другую методологию.
  • во-вторых, неопределенная длительность уменьшает прозрачность процессов в компании. Если, например, мы хотим провести другой эксперимент на эту же функциональность, мы вынуждены дождаться окончания этого эксперимента. Однако время его окончания может регулярно меняться из-за продления, что делает момент запуска менее предсказуемым.

Можно ли изменить длительность у уже запущеного эксперимента?​

Нет, продление эксперимента в общем случае не допускается.

При этом мы понимаем границы между формальной методологией и практической составляющей экспериментов. В некоторых случаях (например, изменение дисперсии метрики, повлекшее недооценку MDE) разовое продление эксперимента на конкретный срок может быть оправдано.

Продлить эксперимент в сложных ситуациях могут сотрудники платформы. Для этого можно написать в канал ~ab-central-help с описанием причины, по которой возникла необходимость продлить эксперимент.

Что произойдет по окончанию плановой длительности эксперимента?​

Зависит от настроек эксперимента.

При настройке запуска(трафика) эксперимента в модалке есть переключатель "Раздавать фичи после завершения". Пример с выключенным переключателем приведен на рисунке ниже.

Блок про раздачу �фичей после завершения

При включенном флаге эксперимент после окончания перейдет в статус раздача фичей, в противном случае эксперимент завершится.

Про раздачу фичей

В этом статусе пользователи продолжают наблюдать эксперимент абсолютно также, как если бы эксперимент был активен. Разница фактически состоит лишь в том что мы перестаем собирать метрики по эксперименту.

Обратите внимание, что если эксперимент завершился (статус Ended), перейти обратно в раздачу фичей не получится. Это связано с тем, что мы освобождаем место на слое под другие эксперименты после завершения эксперимента.

Как оценить MDE для эксперимента​

На странице метрики есть SQL для расчета MDE. Можно использовать для оценки трафика и длительности эксперимента.

Как пользоваться:

  1. Найти метрику в реестре метрик
  2. Скопировать код из SQL-снипета на карточке метрики (SQL, MDE).
  3. Установить параметры: трафик на группу, количество дней, альфу, бету
  4. Дописать условия на платформу, разрезы при необходимости
  5. Выполнить скрипт, в одном из полей результата будет MDE (в процентах)

В настоящий момент это основной способ расчета MDE, мы прорабатываем решение по реализации более функционального калькулятора.