Частотный подход
Подход Fixed Horizon#
Эксперименты с частотным подходом на платформе проводятся, как правило, по методологии Fixed Horizon. Она подразумевает:
- определение ключевых метрик в эксперименте
- определение длительности эксперимента, исходя из ожиданий по изменению метрик (на основе MDE)
- анализ эксперимента по прохождению планируемой длительности
При этом данные по эксперименту в основном отчете формируются каждый день, что может использоваться в целях мониторинга работы новой функциональности.
Почему нельзя определять длительность эксперимента на ходу?#
Есть несколько причин, почему это плохо:
- это приводит к проблеме подглядывания, также называемой p-hacking. При продлении эксперимента с целью получить ожидаемый прокрас с большой вероятностью он будет получен, но вероятность ложного прокраса в таком случае очень высока. Для принятия решения опираясь на текущее значение метрики нужно использовать другую методологию.
- во-вторых, неопределенная длительность уменьшает прозрачность процессов в компании. Если, например, мы хотим провести другой эксперимент на эту же функциональность, мы вынуждены дождаться окончания этого эксперимента. Однако время его окончания может регулярно меняться из-за продления, что делает момент запуска менее предсказуемым.
Можно ли изменить длительность у уже запущеного эксперимента?#
Нет, продление эксперимента в общем случае не допускается.
При этом мы понимаем границы между формальной методологией и практической составляющей экспериментов. В некоторых случаях (например, изменение дисперсии метрики, повлекшее недооценку MDE) разовое продление эксперимента на конкретный срок может быть оправдано.
Продлить эксперимент в сложных ситуациях могут сотрудники платформы. Для этого можно написать в канал ~ab-central-help с описанием причины, по которой возникла необходимость продлить эксперимент.
Что произойдет по окончанию плановой длительности эксперимента?#
Зависит от настроек эксперимента.
При настройке запуска(трафика) эксперимента в модалке есть переключатель "Раздавать фичи после завершения". Пример с выключенным переключателем приведен на рисунке ниже.
При включенном флаге эксперимент после окончания перейдет в статус раздача фичей, в противном случае эксперимент завершится.
Про раздачу фичей
В этом статусе пользователи продолжают наблюдать эксперимент абсолютно также, как если бы эксперимент был активен. Разница фактически состоит лишь в том что мы перестаем собирать метрики по эксперименту.
Обратите внимание, что если эксперимент завершился (статус Ended), перейти обратно в раздачу фичей не получится. Это связано с тем, что мы освобождаем место на слое под другие эксперименты после завершения эксперимента.
Как оценить MDE для эксперимента#
На странице метрики есть SQL для расчета MDE. Можно использовать для оценки трафика и длительности эксперимента.
Как пользоваться: 1. Найти метрику в реестре метрик 2. Скопировать код из SQL-снипета на карточке метрики (SQL, MDE). 2. Установить параметры: трафик на группу, количество дней, альфу, бету 3. Дописать условия на платформу, разрезы при необходимости 4. Выполнить скрипт, в одном из полей результата будет MDE (в процентах)
В настоящий момент это основной способ расчета MDE, мы прорабатываем решение по реализации более функционального калькулятора.