Перейти к основному содержимому

Ретро-анализ в Trisigma

Описание фичи​

Ретро-анализ – это тип эксперимента, предназначенный для анализа метрик по A/B-тестам на основе исторических данных.

Какие задачи позволяет решить ретро-анализ:

  • Расчет метрик на предпериоде эксперимента, A/A-тест.
  • Расчет дополнительных метрик, разрезов, пресетов и ограничений для прошедшего эксперимента.
  • Интеграция завершенных экспериментов, проведенных вне Trisigma.

Настройка и запуск​

  1. Выберите тип эксперимента Ретро-анализ на этапе заполнения вкладки «Обязательная информация». Ретро-анализ

  2. Выберите нужный источник разметки пользователей для ретро-анализа: Ретро-анализ

    • На основе существующего A/B-теста. Выберите завершенный эксперимент в Trisigma для источника разметки пользователей. Ретро-анализ
    • На основе списков. В качестве источника разметки укажите необходимые списки для контрольной и таргетной групп. Ретро-анализ
      примечание

      Разметка «На основе источника» на данный момент недоступна.

  3. Заполните параметры расчета:

    • Для источника на основе существующего A/B: выберите один из доступных вариантов периода расчета (предпериод 7/14 дней, период разметки родительского эксперимента или свой период). Ретро-анализ
    • Для источника на основе списков: укажите необходимый период расчета.
    • Укажите глобальные ограничения при необходимости. Ретро-анализ

  4. Завершите настройку и запустите ретро-анализ: заполните страницу «Метрики» и настройки отчета аналогично процессу создания обычного эксперимента.

  5. После запуска ретро-анализа эксперимент получит статус «Рассчитывается» и по завершении перейдет в статус «Отчет готов».

Доступные типы разметки​

На данный момент доступен только тип разметки на основе списков, как для источника разметки на основе существующего A/B-теста, так и для источника на основе списков.

Требования для корректной работы​

Для того чтобы ретро-анализ работал корректно, убедитесь, что соблюдены следующие условия:

  1. Списки для источника разметки ретро-эксперимента не должны быть пустыми.
  2. Данные в источниках для выбранных метрик должны быть актуальными за период расчета.
  3. Для расчета экспериментов на основе разметки списком необходимо, чтобы количество участников в списках групп было одинаковым.

Скорость расчета​

Скорость работы

Расчет ретро-анализа занимает время, аналогичное пересчету стандартного A/B-теста.