Калькулятор MDE в Trisigma

Описание

Калькулятор MDE - это аналитический инструмент, задача которого облегчить аналитику на этапе дизайна эксперимента. Он помогает выбрать оптимальную длительность проведения теста, учитывая при этом множество параметров.

Какие параметры для дизайна эксперимента можно настраивать для расчета:

• уровни alpha и beta
• тип участника эксперимента
• длительность эксперимента в днях (макс. 28 дней) и обьем трафика в %
• количество групп и их соотношение между собой
• глобальные ограничения по спискам пользователей

Какой тип разметки учитывается при дизайне эксперимента:

• разметка по событию
• разметка по спискам

Настройка метрик для расчета

В рамках одного расчета MDE можно выбрать до 10 метрик (5 целевых и 5 контрольных). Для каждой из метрик можно выбрать разрез, в рамках которого будет произведен расчет. Одна и та же метрика, но с разным разрезом считается за отдельную метрику.

Процесс создания расчета

1. На вкладке "Экспериментирование" выберите "Расчет MDE".

   

2. Для создания расчета нажмите кнопку "Новый расчет MDE".

   

3. На открывшейся странице заполните запрашиваемые параметры дизайна:

   • тип разметки (случайный трафик/пользовательские списки)
   • домен
   • тип участника
   • уровни alpha и beta
   • длительность эксперимента (значение будет являться максимальным периодом, за который будет посчитан MDE; MDE считается за каждый день в рамках периода)

4. Для разметки случайного трафика:

   • укажите обьем трафика в %
   • настройте количество и соотношение групп. Сумма долей групп должна быть меньше или равна 100%

   

5. Для разметки пользовательских списков:

   • укажите для контрольной и тестовой группы актуальные названия списков

   

6. Укажите глобальные ограничения по спискам пользователей, если они требуются (доступно для всех видов разметки).

   

7. Справа на экране заполните раздел "Метрики и расчет":

   • выберете метрику из выпадающего списка, дополнительно можете сократить список метрик через поиск конкретных метрик по названию
   • укажите разрез для метрики
   • заполненные метрики можно изменять и удалять
   • вы можете добавить метрику в нужный вам тип метрики - целевые или контр-метрики

   

8. После окончания настройки параметров дизайна и метрик нажмите кнопку "Запустить расчет".

   

Требования для корректной работы Калькулятора MDE

1. Для того чтобы Trisigma смогла рассчитать MDE по заказанным метрикам, необходимо чтобы в источнике были данные за указанный в параметрах период. Период расчета отстает от текущей даты на 7 дней.
2. Мы рекомендуем, чтобы данные в источнике по метрикам были за каждый день периода расчета. Если части данных не будет хватать, мы вернем результат только по периодам до пропуска.
3. Расчет MDE не поддерживает метрики, которые завязаны на какие-либо даты (например, дата старта эксперимента).

Результат расчета MDE

После того как расчет завершен, его результаты представляются в виде таблицы и графиков динамики MDE. В таблице отображено название метрики и разрез, по которым был заказан расчет MDE, а также значение MDE для указанных в дизайне параметров.

Графики динамики MDE

Для отображения информации в динамике необходимо нажать на иконку графика справа в таблице.

• График зависимости MDE от длительности эксперимента Этот график отображает значение MDE для метрики на каждый день, исходя из максимальной длительности, указанной в параметрах дизайна, и значения % трафика.

  

• График зависимости MDE от % трафика Второй вариант графика показывает, как значение MDE зависит от % трафика для указанной в дизайне длительности эксперимента.

  

С помощью графиков пользователь может подобрать подходящий сетап дизайна эксперимента, который удовлетворяет запросам по достигаемой мощности метрики и ограничениям по максимальной длительности теста и доступной аудитории.

Если вы хотите изменить параметры расчета MDE, воспользуйтесь функцией "Обновить расчет".

Скорость расчета MDE

• Первичный расчет MDE длится от 15 минут до нескольких часов.
• При обновлении параметров alpha, beta, обьема трафика или групп эксперимента результат обновится моментально после завершения исходного расчета.
• При обновлении длительности эксперимента дополнительный расчет потребуется, если новое значение больше изначального. Обновление может занять от 15 минут до нескольких часов.
• При обновлении разрезов и метрик потребуется дополнительный расчет.

Дополнительный функционал

• Создание эксперимента из расчета MDE: параметры из дизайна эксперимента и метрик автоматически проставляются на экран создания эксперимента.
• Клонирование расчета MDE: позволяет переиспользовать заполненные параметры из готового расчета.