Создание эксперимента
Форма создания эксперимента состоит из нескольких вкладок.
Вкладка "Обязательная информация" является необходимой к заполнению для создания черновика эксперимента и его сохранения.
Обязательная информация.#
Основное#
В основных параметрах нужно указать название эксперимента, ссылку на задачу в таск-трекере (по желанию), команду, запускающую эксперимент, и платформы.
Платформы. Платформа, на которой проводится эксперимент (множественный выбор). Не всегда АВ-тест проводится на какой-то конкретной платформе, если для эксперимента указание платформы не требуется, укажите любую. В блоке Параметры Сплита в таком случае нужно проставить галку "Раздавать фичи на все платформы".
Параметры сплита#
Тип участника эксперимента. Возможны значения "ID девайса" или "ID пользователя". Не всегда АВ-тест проводится только на авторизированных пользователях, мы также можем включать в тест анонимов. Залогиненные пользователи имеют авторизированный user ID, при этом все пользователи (залогиненные или нет) имеют ID девайса. ID пользователя на разных девайсах одинаковый, т.к человек с разных девайсов логинится под одной учеткой. при этом не учитываются кейсы, что один пользователь может использовать несколько учеток или быть авторизован только на одном устройстве). В случае выбора ID девайса один человек с разных девайсов будет иметь разные ID девайса, и это тоже может влиять на логику эксперимента. Если вы не хотите, чтобы пользователь с разных девайсов видел разный функционал, нужно выбирать сплит по ID пользователя.
При этом не учитываются кейсы, что один пользователь может использовать несколько учеток или использовать несколько девайсов, но быть авторизован только на одном из них.
Строковый идентификатор эксперимента используется в коде при ветвлении. Лейбл, который разработчику необходимо указать в своем коде, чтобы связать его с экспериментом на платформе Трисигма.
Теги сервисов. Указание тега сервиса позволяет получать все эксперименты для этого сервиса и не получать никакие другие, которые этому сервису не нужны. В сервисе будут запрашиваться эксперименты только по этому тегу.
Подробнее о лейблах и тегах сервисов.
Группы эксперимента. Групп эксперимента может быть две и более. Разные группы эксперимента, каждая из которых участвует в эксперименте, и видит разные вариации функционала. Обычно группа Control эквивалентна пользователям, которые не участвуют в эксперименте. Контрольная группа в эксперименте может быть только одна (напротив нее необходимо проставить пикер). Этот выбор важен для аналитики, в отчете мы будем видеть значение метрик в формате Test - Control (значение контрольной группы будет вычитаться из значения для тестовой группы). По умолчанию все тестовые группы сравниваются с контролем, т.е. в отчете будет видно М-1 сравнение, где М - количество групп в эксперименте. Название групп (если будет задано кастомное) также будет использоваться в отчете.
Настройки групп#
Способ разбиения по группам эксперимента осуществляется на основе % трафика или по предзаполненным группам пользователей (На основе списков). В первом случае пользователи попадают в тест случайно, во второй случае мы сами решаем, кто попадет в эксперимент.
Слои. Слой - изолированная узкая часть продукта, внутри которой нужно разводить эксперименты, чтобы пользователи не попадали в конфликтующие друг с другом эксперименты. Подробнее про слои (ссылка).
Распределение трафика по группам эксперимента. Можно изменять веса для групп эксперимента, которые были указаны ранее. Суммарный вес трафика должен составлять 100%. Минимальный объем трафика одной группы должен составлять 1%.
Дизайн эксперимента#
Здесь заполняется количество дней, которые эксперимент будет запущен, а также процент трафика на слое, который попадет в эксперимент. Уже внутри этого трафика будет деление пользователей на тест и контроль. С помощью кнопки "Проверить свободное место на слое" можно увидеть, какие еще эксперименты запущены на этом слое или планируются к запуску.
Далее заполняется цель эксперимента в формате метрик.
Концептуально метрики можно разделить на 3 типа:
- целевые метрики - те, которые наилучшим образом описывают цель эксперимента;
- прокси метрики - ведут себя схожим образом с целевыми, но более чувствительные;
- контр метрики - их изменение может являться блокером к раскатке даже при улучшении целевых показателей.
Платформа допускает формулировку гипотезы в эксперименте с помощью частотного или байесовского подходов. При выборе частотного подхода, мы просим указать метрику, разрез (сегмент) и ожидаемую в рамках эксперимента величину изменения - эти параметры позволяют наиболее точно указать целевой сегмент пользователей, на которых направлен планируемый эксперимент. Для каждый из них мы рекомендуем оценивать MDE, и если ожидаемый эффект меньше величины MDE, это может быть причиной пересмотреть планы на тест или увеличить его длительность / долю трафика. При выборе байесовского подхода, для каждой ключевой метрики и сегмента для нее мы просим указать ожидания от изменения этой метрики в эксперименте.
С деталями можно ознакомиться в разделе дизайна экспериментов.
Метрики можно добавить позже, если нет готовности настроить их сразу.
Настройки отчета#
Способ вычисления#
Здесь можно настроить способы отображения расчета метрик в отчете.
На шкале показаны дни эксперимента с течением времени, эксперимент обозначен черной рамкой. Белым отмечены дни, которые не используются в расчете метрик, персиковым - которые используются.
Накопительные окна позволяют увидеть в отчете, как себя вели метрики за все то время, которое мы держим эксперимент.
Есть возможность отсечь первый неполный день. Метрики агрегируются в течение дня, поэтому мы часто не можем разделить значения метрик до эксперимента и уже после первого момента Exposure. Пользователи, попавшие в эксперимент в первый день, также учитываются в отчете, но метрики по ним считаются со второго дня.
Также настраивается начало накопительных окон (можно выбрать несколько значений). Например, указав "2,3" вы увидите в отчете два разреза, в котором метрики будут считаться начиная со второго дня эксперимента и с третьего.
Скользящие окна следует выбирать в том случае, когда мы думаем, что у пользователя должен пройти период привыкания к изменению. Здесь считается отложенный эффект.
В отчете будет видно, как себя вели метрики за последние N дней. Считается назад от момента завершения эксперимента (либо текущего момента, если эксперимент еще идет).
При выборе скользящих окон нужно указать, сколько дней назад мы хотим считать. Например, указав "7,8" вы увидите в отчете два разреза, в котором метрики будут считаться за 7 и 8 последних дней (если эксперимент еще идет) и за 7 и 8 последних дней эксперимента, если он завершен.
Можно одновременно выбрать расчет как по скользящим, так и по накопительным окнам.
Exposure#
Событие Exposure показывает, что пользователь точно попал в эксперимент. Оно позволяет анализировать отчет по пользователям, которые видели функциональность эксперимента.
Можно выбрать, запоминать ли Exposure на весь период эксперимента или задать свой период Exposure. Во втором случае действия пользователей по истечению этого периода не учитываются в метриках.
На шкале показаны дни эксперимента с течением времени, эксперимент обозначен черной рамкой. Белым отмечены дни, которые не используются в расчете метрик, персиковым - которые используются. Зеленой полосой отмечен момент Exposure.
Запоминать Exposure (Propagate_exposure) следует в том случае, когда мы думаем, что, чем больше пройдет времени с момента попадания пользователя в эксперимент, тем больше влияние эксперимента нивелируется. Использование Propagate_exposure может уменьшить шум от поведения пользователей, который не связанного с экспериментом. Однако, если установить окно слишком коротким, вы можете упустить пользователей, которые возвращаются через несколько дней подверглись воздействию эксперимента и возвращаются через несколько дней.
Для выбора определённого числа дней нужно задать число в форме. Для выбора всего количества дней, которое будет идти эксперимент, нужно выбрать "-1".
Во время проведения пилота отчет будет считаться только по тем пользователям, которые получили Exposure.
Расширенный список метрик#
В этом разделе можно указать пресет метрик, значения по которым хочется увидеть в отчете.
При необходимости можно создать свою конфигурацию, используя форму.
Расчет метрик из расширенного списка проводится в соответствии с частотным подходом.