Перейти к содержанию

Начало работы#

В этом руководстве мы рассмотрим основные функции и возможности платформы на примере создания эксперимента.

Шаг 0. Формулировка гипотезы#

Перед тем как начать работу над экспериментом, очень важно сформулировать понятную и проверяемую продуктовую гипотезу.

  1. Определить целевую метрику и предполагаемый эффект в процентах
  2. По этим вводным оценить параметры эксперимента: размер сэмпла (доля трафика) и длительность
  3. Принять решение о целесообразности эксперимента. Если для проверки гипотезы требуется слишком много трафика или слишком долго ждать результатов, возможно, стоит переформулировать гипотезу.

Плохо

  • Покупателям будет удобнее пользоваться сайтом
  • Количество покупателей увеличится

Хорошо

  • Количество покупателей увеличится на +2%
  • Ожидаем прирост покупателей минимум на 2%. Всё что меньше считаем неудачей

Шаг 1. Конфигурация метрик#

Demo specifics

В рамках демонстрационной версии платформы, основные метрики и пресеты уже настроены и готовы к использованию. Поэтому вам не нужно будет создавать их самостоятельно.

Перед тем, как приступить к созданию эксперимента, стоит убедиться в том, что на платформе созданы и настроены нужные метрики. Подробнее о том как объявлять метрики можно прочитать в разделе создание метрик.

Часто используемые метрики и разрезы объявляются в виде пресетов. О том как объявлять пресеты метрик можно прочитать в разделе пресеты метрик.

Шаг 2. Конфигурация слоев#

Слои дают возможность одновременное проведение нескольких конфликтующих экспериментов, минимизируя риск негативного влияния на пользовательский опыт. Слои указываются при создании эксперимента или непосредственно перед запуском.

О том как объявлять и управлять слоями можно прочитать в разделе управление слоями. Подробнее о концепции слоев можно прочитать в статье концепция слоев.

Шаг 3. Конфигурация эксперимента#

Для создания эксперимента необходимо перейти в раздел эксперименты и нажать кнопку Создать эксперимент. Детальное описание всех параметров эксперимента можно прочитать в разделе создание эксперимента.

Параметры сплита

При создании эксперимента необходимо будет указать параметры сплита. Эти параметры необходимы разработчикам для организации ветвления в коде.

Шаг 4. Организация ветвления в коде#

Подробнее о том как интегрироваться с платформой («сплиттером»), настраивать и отлаживать ветвление можно прочитать в разделе интеграция с API.

Разработка самого функционала может происходить параллельно с интеграцией. Ветвление в коде должно быть реализовано до запуска эксперимента.

Шаг 5. Запуск эксперимента#

Перед запуском эксперимента необходимо убедиться в том, что:

  • Со стороны разработки реализовано и протестировано ветвление в коде
  • Корректно указаны настройки отчета
  • Указаны параметры запуска (слой и конфликты)
  • Эксперимент находится в статусе Готов к запуску это означает что конфликтов при размещении на слое нет, и можно стартовать эксперимент.

Шаг 6. Анализ результатов#

Результаты эксперимента обновляются ежедневно. Крайне НЕ рекомендуется делать выводы и останавливать эксперимент до истечения запланированного срока во избежание «проблемы подглядывания». В то же время, каждый день следует мониторить наличие очень сильных прокрасов (p-value < 0.0001), которые нельзя списывать на false positive.

Подробнее, про анализ отчета можно прочитать в разделе анализ отчета.

Шаг 7. Подведение итогов и раскатка#

После завершения эксперимента, необходимо проанализировать результаты и принять решение о раскатке изменений. Итог фиксируется на вкладке обзор в разделе комментариев.