Запуск и анализ

Запуск эксперимента — это начало сбора данных, а анализ — финальный этап, на котором принимается продуктовое решение о раскатке или остановке изменений.

Как оценивать качество данных

Перед тем как смотреть на рост метрик, необходимо убедиться, что эксперимент прошел «чисто». Для этого в Trisigma есть вкладка Health:

1. Проверьте SRM (Sample Ratio Mismatch), чтобы убедиться в корректности распределения трафика между группами.
2. Оцените статистическую значимость (p-value), которая определяет вероятность случайного различия между группами.

Принятие решения

На основе данных аналитики принимается решение о Rollout (Раскатке) или об остановке эксперимента.

Для раскатки вам нужно сделать следующие шаги:

1. Примите решение на основе данных и значения p-value о победе одного из вариантов.
2. Выполните чистку кода, удалив логику разделения и вызовы Сплиттера.
3. Завершите процесс на платформе, переведя эксперимент в статус Finished.

Честная раскатка

В Trisigma мы придерживаемся принципа «честной раскатки». Это означает, что платформа не должна использоваться как сервис управления конфигурациями (Feature Toggle) на постоянной основе. Победившая фича должна быть жестко зафиксирована в коде вашего приложения, а экспериментальное ветвление — удалено. Это предотвращает накопление технического долга и делает архитектуру чистой.

Результаты кейса доставки

к сведению

Ниже показан анализ результатов для кейса «Точная дата доставки» из вступления.

Представим, что наш эксперимент шел 14 дней. Посмотрим на итоговый отчет.

1. Проверка Health Check

На вкладке Health мы видим, что SRM тест пройден (зеленый статус). В группу Control попало 50.1% пользователей, в Test — 49.9%. Это допустимое отклонение.

2. Анализ метрик

В отчете мы видим следующие изменения:

1. Показатель purchase_cr с ростом на +3.5% при p-value = 0.03 подтверждает успешное завершение эксперимента.
2. Показатель add_to_cart_rate с ростом на +2.1% подтверждает готовность пользователей начинать путь к покупке.
3. Показатель cancel_rate с ростом на +0.1% подтверждает стабильность процессов после внедрения изменений.

Что дальше

Поздравляем! Вы прошли базовый путь от настройки источника данных до анализа результатов. Чтобы глубже изучить возможности платформы, мы рекомендуем ознакомиться с этими разделами:

1. Изучите статистический движок для понимания методов расчета p-value и SRM теста.
2. Используйте API Сплиттера как справочник методов для сложных сценариев интеграции.
3. Настраивайте семантический слой, чтобы научиться описывать источники данных и объединять их в метрики.

Если у вас остались вопросы по работе с платформой, вы всегда можете обратиться к команде поддержки Trisigma.