Перейти к основному содержимому

Запуск и анализ

После запуска эксперимент собирает данные. На финальном этапе вы принимаете продуктовое решение - раскатать изменение или остановить.

Когда появятся данные

Отчёт по эксперименту обновляется раз в сутки. Сразу после старта посмотреть, как трафик разделился между группами, нельзя - первые цифры по распределению и метрикам появляются на следующий день.

Как оценивать качество данных​

Прежде чем смотреть на рост метрик, проверьте, что эксперимент прошёл «чисто». На вкладке Health в Trisigma:

  1. SRM (Sample Ratio Mismatch) - проверка, что трафик распределился по группам в нужной пропорции (для 50/50 - около 50% в каждой). Если SRM красный - дальше можно не смотреть, что-то на стороне сплита.
  2. p-value - показывает, насколько вероятно, что разница между группами случайна. Чем меньше значение, тем больше уверенность, что разница реальная.

Принятие решения​

Trisigma показывает результаты эксперимента, но не говорит, что с ними делать. Аналитики вашей команды смотрят отчёт, делают ревью метрик и сами решают - раскатывать изменение, дорабатывать гипотезу или останавливать тест.

Честная раскатка

В Trisigma принят принцип «честной раскатки»: платформа не используется как сервис управления конфигурациями (Feature Toggle) на постоянной основе. Победивший вариант зафиксируйте в коде вашего приложения, экспериментальное ветвление - удалите. Иначе накапливается технический долг и архитектура усложняется.

Кейс для примера интеграции (Запуск и анализ)​

Сквозной кейс из вступления: команда продукта проверяет, влияет ли цвет кнопки «Добавить в корзину» на количество кликов. Эксперимент шёл 14 дней. Дальше - как читать результаты.

Health Check​

На вкладке Health SRM-тест зелёный, расхождение групп 0.0% - трафик разделился ровно, дальше смотрим метрику.

Анализ метрик​

Lift по метрике users_clicked стабилизируется на уровне +5.7% при p-value = 0.012 - разница статистически значима. Гипотеза подтвердилась: синяя CTA-кнопка собирает больше кликов, чем серая.

Цифры по группам:

ГруппаУникальных пользователейΔ к контрольной
control (серая кнопка)30 412-
test (синяя кнопка)32 145+5.7%

Решение​

Раскатываем синий вариант на 100% трафика:

  1. В коде убираем ветвление по лейблу - оставляем только синюю кнопку.
  2. На платформе переводим эксперимент в статус Finished.

Итог сквозного примера​

На одном кейсе - проверка цвета кнопки «Добавить в корзину» - вы прошли все пять шагов интеграции с Trisigma:

  1. Подключение данных - подключили коннектор к таблице кликов в ClickHouse.
  2. Настройка метрик - описали SQL-источник button_clicks и метрику users_clicked в Git-репозитории.
  3. Создание эксперимента - завели эксперимент blue_button_test с двумя группами (control / test) и привязали к нему метрику users_clicked.
  4. Подключение сплиттера - в коде приложения вызвали getFeaturesByTag для разделения пользователей и exposeManyV2 для фиксации показов.
  5. Запуск и анализ - 14 дней собирали данные, на 15-й день увидели рост users_clicked на +5.7% при p-value = 0.012, гипотеза подтвердилась.

Тот же набор шагов работает для любой гипотезы - меняется конкретный SQL-источник, метрика, дизайн эксперимента и UI-изменение, структура остаётся.

Что дальше​

Базовый путь от настройки источника данных до анализа результатов вы прошли. Дальше пригодятся:

  1. Статистический движок - методы расчёта p-value, SRM-теста и доверительных интервалов.
  2. API Сплиттера - справочник методов для сложных сценариев интеграции.
  3. Семантический слой - описание источников данных и сборка метрик.

Если что-то не складывается - команда поддержки Trisigma на связи.