Создание эксперимента

Создание эксперимента в интерфейсе Trisigma — это этап формализации вашей гипотезы. На этом шаге вы определяете, по каким правилам будет распределяться трафик и как система поймет, что тест успешен.

Три компонента эксперимента

Любой качественный A/B тест состоит из трех обязательных частей:

1. Сформулируйте гипотезу с четким описанием того, какое изменение и почему должно привести к росту конкретного показателя.
2. Определите варианты (группы) для разделения пользователей на Контрольную (Control) и Тестовую (Test) части.
3. Настройте набор метрик, по которым будет оцениваться результат.

Планирование длительности

Для точного расчета необходимого объема трафика и длительности эксперимента используйте Калькулятор MDE. Он поможет до запуска теста понять, какую минимальную разницу в метриках вы сможете зафиксировать при заданных параметрах.

Заведение эксперимента

к сведению

Ниже показано заведение параметров для кейса «Точная дата доставки» из вступления.

1. Описание гипотезы

В поле «Гипотеза» укажите:

Если заменить интервал доставки на конкретную дату, то CR в заказ вырастет на 2%, так как снизится когнитивная нагрузка на пользователя.

2. Настройка таргетинга

На этом этапе привяжите эксперимент к технической реализации и аудитории:

1. Укажите тег product_page. Сплиттер в коде будет запрашивать фичи именно по этому тегу.
2. Выберите user_id в качестве типа участника - в этом кейсе эксперимент проводится только на авторизованных пользователях.

3. Выбор метрик успеха

Используйте показатели, созданные на предыдущем шаге Настройка метрик в Git-репозитории:

1. purchase_cr (Конверсия в заказ).
2. add_to_cart_rate (Конверсия в корзину).
3. cancel_rate (Доля отмен).

4. Настройка групп и трафика

Разделите пользователей поровну между двумя вариантами:

1. Настройте группу Control с лейблом control для показа стандартного интервала.
2. Настройте группу Test с лейблом test для показа конкретной даты.
3. Выделите на эксперимент 100% входящего трафика для максимально быстрого набора статистической значимости.

После заведения эксперимента перейдите к следующему шагу - Подключение сплиттера.