Перейти к основному содержимому

Калькулятор MDE в Trisigma

Описание​

Калькулятор MDE. Это аналитический инструмент, задача которого облегчить аналитику на этапе дизайна эксперимента. Он помогает выбрать оптимальную длительность проведения теста, учитывая при этом множество параметров.

Какие параметры для дизайна эксперимента можно настраивать для расчета​

  1. Уровни alpha и beta.
  2. Тип участника эксперимента.
  3. Длительность эксперимента в днях (макс. 28 дней) и объем трафика в %.
  4. Количество групп и их соотношение между собой.
  5. Глобальные ограничения по спискам пользователей.

Какой тип разметки учитывается при дизайне эксперимента​

  1. Разметка по событию.
  2. Разметка по спискам.

Настройка метрик для расчета​

В рамках одного расчета MDE можно выбрать до 10 метрик (5 целевых и 5 контрольных). Для каждой из метрик можно выбрать разрез, в рамках которого будет произведен расчет. Одна и та же метрика, но с разным разрезом считается за отдельную метрику.

Процесс создания расчета​

  1. На вкладке "Экспериментирование" выберите "Расчет MDE".

    Выбор Расчета MDE

  2. Для создания расчета нажмите кнопку "Новый расчет MDE".

    Кнопка Новый расчет MDE

  3. На открывшейся странице заполните запрашиваемые параметры дизайна.

Параметры:

  1. Тип разметки (случайный трафик/пользовательские списки).
  2. Домен.
  3. Тип участника.
  4. Уровни alpha и beta.
  5. Длительность эксперимента (значение будет являться максимальным периодом, за который будет посчитан MDE; MDE считается за каждый день в рамках периода).

Для разметки случайного трафика​

  1. Укажите объем трафика в %.
  2. Настройте количество и соотношение групп. Сумма долей групп должна быть меньше или равна 100%.

Настройка дизайна для случайного трафика

Для разметки пользовательских списков​

Укажите для контрольной и тестовой группы актуальные названия списков.

Настройка дизайна для пользовательских списков

Глобальные ограничения​

Укажите глобальные ограничения по спискам пользователей, если они требуются (доступно для всех видов разметки).

Глобальные ограничения

Метрики и расчет​

Справа на экране заполните раздел "Метрики и расчет".

Действия:

  1. Выберете метрику из выпадающего списка, дополнительно можете сократить список метрик через поиск конкретных метрик по названию.
  2. Укажите разрез для метрики.
  3. Заполненные метрики можно изменять и удалять.
  4. Вы можете добавить метрику в нужный вам тип метрики (целевые или контр-метрики).

Раздел Метрики и расчет

Запуск расчета​

После окончания настройки параметров дизайна и метрик нажмите кнопку "Запустить расчет".

Кнопка Запустить расчет

Требования для корректной работы Калькулятора MDE​

  1. Для того чтобы Trisigma смогла рассчитать MDE по заказанным метрикам, необходимо чтобы в источнике были данные за указанный в параметрах период. Период расчета отстает от текущей даты на 7 дней.
  2. Мы рекомендуем, чтобы данные в источнике по метрикам были за каждый день периода расчета. Если части данных не будет хватать, мы вернем результат только по периодам до пропуска.
  3. Расчет MDE не поддерживает метрики, которые завязаны на какие-либо даты (например, дата старта эксперимента).

Результат расчета MDE​

После того как расчет завершен, его результаты представляются в виде таблицы и графиков динамики MDE. В таблице отображено название метрики и разрез, по которым был заказан расчет MDE, а также значение MDE для указанных в дизайне параметров.

Таблица с результатами расчета MDE

Графики динамики MDE​

Для отображения информации в динамике необходимо нажать на иконку графика справа в таблице.

График зависимости MDE от длительности эксперимента

Этот график отображает значение MDE для метрики на каждый день, исходя из максимальной длительности, указанной в параметрах дизайна, и значения % трафика.

График MDE от длительности

График зависимости MDE от % трафика

Второй вариант графика показывает, как значение MDE зависит от % трафика для указанной в дизайне длительности эксперимента.

График MDE от трафика

С помощью графиков пользователь может подобрать подходящий сетап дизайна эксперимента, который удовлетворяет запросам по достигаемой мощности метрики и ограничениям по максимальной длительности теста и доступной аудитории.

Если вы хотите изменить параметры расчета MDE, воспользуйтесь функцией "Обновить расчет".

Кнопки управления расчетом

Скорость расчета MDE​

  1. Первичный расчет MDE длится от 15 минут до нескольких часов.
  2. При обновлении параметров alpha, beta, объема трафика или групп эксперимента результат обновится моментально после завершения исходного расчета.
  3. При обновлении длительности эксперимента дополнительный расчет потребуется, если новое значение больше изначального. Обновление может занять от 15 минут до нескольких часов.
  4. При обновлении разрезов и метрик потребуется дополнительный расчет.

Дополнительный функционал​

  1. Создание эксперимента из расчета MDE. Параметры из дизайна эксперимента и метрик автоматически проставляются на экран создания эксперимента.
  2. Клонирование расчета MDE. Позволяет переиспользовать заполненные параметры из готового расчета.