Таблица

В этом разделе описаны колонки и строки в таблице отчета.

Пример отчета для наглядности приведен ниже.

Описание таблицы отчета

Итоговая таблица состоит из девяти колонок, из которых три используются для описания наблюдаемой величины (Разрез, Imp и Metric), а остальные шесть - для отображения результатов.

Отчет разбит на разделы. Каждый раздел определяется парой сравниваемых групп и платформой участников.

Вверху каждого раздела отчета в левой части экрана указаны сравниваемые группы (на рисунке test vs control, названия групп определяются в форме при создании эксперимента), и платформы, на которых проводился эксперимент (iOS на рисунке).

У каждого раздела (вверху в правой части экрана) показываны индикаторы здоровья эксперимента (Health) и доля Exposure-пользователей.

Health эксперимента

Выступает в качестве проверки SRM (Sample Ratio Missmatch). Если группы отличаются по объему от ожидаемых значений, то индикатор Health подсвечивается красным. Это говорит о возможных отклонениях в разбиении пользователей. Для проверки качества разбиения используется критерий хи-квадрат однородности с уровнем значимости 0,001.

Exposure в эксперименте

Показывает, какой процент пользоватей, назначенных в группу, получил событие Expose. В экспериментах с настройкой use_exposed_only должен быть равен 100%.

Описание метрики и сегмента

Разрез

Данная колонка определяет, для какого сегмента пользователей посчитаны цифры в соответствующих строках отчета. (по умолчанию - total, то есть для всех участников экспериментальных групп) Управлять сегментами пользователей можно выбрать с помощью фильтра Slices. Отдельно об этом поле можно прочитать в документации. Выбор доступных разрезов определяется исходя из разрезов, определенных для расчета в эксперименте.

В примере выше, приводятся значения метрик для всех пользователей (total), а также для отдельно приводится значение метрики buyers для авторизованных пользователей.

Metric

Данная колонка определяет, для какой метрики посчитаны цифры в соответствующих строках отчета. Логика вычисления метрик определяется в семантическом слое. При этом в эксперименте считаются только добавленные в расчет метрики.

Некоторые метрики можно определить как инвертированные. Это будет означать, что их рост - это плохо. В качестве такой метрики может выступать, например, число фатальных ошибок в приложении. Это влияет на цветовое отображение результатов в отчете.

Imp

Данная колонка показывает важность (Importance) соответствующей метрики. Каждой метрике присвоена одна из важностей: самая высокая - i0, самая низкая - i4, other по умолчанию. Значения метрик в отчете отсортированы в порядке убывания важности. Переопределить важность можно в реестре метрик.

Представление результатов

Для оценки значимости изменения метрики в сегменте используется t-тест Стьюдента. В качестве основной гипотезы выступает гипотеза:

$$H_0: \frac{{metric}_{treatment}}{{metric}_{control}} - 1 = 0$$

На выходе результат статистического критерия может быть описан с помощью t-stat и alpha или lift и MoE. Если $lift \pm MoE$ содержит ноль (или t-stat меньше квантиля t-распределения уровня alpha/2), то изменение метрики признается статистически незначимым.

MoE

Margin of Error (MoE) - это фактически точность измерения метрики. Более строго, это половина ширина доверительного интервала. Значение MoE может меняться в зависимости от выбранной alpha в фильтрах.

При нажатии на значение в колонке MoE показывается график изменения MoE в течение эксперимента.

На него можно смотреть в 2 режимах - подневно и за период эксперимента (переключается в правом верхнем углу формы с помощью кнопок 1d/Cumulative соответственно).

t-stat

Значение t-статистики. Приводится в сигмах, если значение в контроле больше значения в тестовой группе, то значение t-статистики отрицательно, и наоборот.

Колонка t-stat раскрашивается в зависимости от прокрасов в эксперименте. Чем больше значение t-stat, тем более насыщенно подкрашена ячейка. При этом подкрашиваются только статически значимые изменения.

Обратите внимание, что "значимость" можно варьироваться исходя из выбранной альфы.

При нажатии на значение в колонке t-stat показывается график изменения статистики в течение эксперимента. По оси абцисс - порядковый номер дня эксперимента, по оси ординат - значение p-value по состоянию на порядковый день эксперимента в логарифмическом масштабе.

Кроме того, указан текущий уровень значимости и p-value статистики.

На график можно смотреть в 2 режимах - подневно и за период эксперимента (переключается в правом верхнем углу формы с помощью кнопок 1d/Cumulative соответственно).

Lift

Показывает относительный прирост метрики на тесте относительно контрольной группы. Положительное значение означает, что значение метрики в тесте больше чем в контроле, и наоборот.

При нажатии на значение в колонке lift показывается график изменения лифта в течение эксперимента. По оси абцисс - порядковый номер дня эксперимента, по оси ординат - точечная оценка lift и его доверительный интервал по состоянию на порядковый день эксперимента.

На график можно смотреть в 2 режимах - подневно и за период эксперимента (переключается в правом верхнем углу формы с помощью кнопок 1d/Cumulative соответственно).

Mean, Num, Den

Значение в столбце Mean показывает среднее значение метрики, вычисленное как отношение Num к Den, то есть $\frac{num_T + num_C}{den_T + den_C}$

Значение Num как правило вычисляется как количество число событий, соответствующих данной метрике. (Например, количество кликов на рекламу для метрики ads_clicks).

Значение Den во многом определяется типом вычисляемой метрики. Если метрика имеет тип Ratio (то есть фактически является отношением двух метрик, например, доля поисковых запросов, закончившихся просмотром тарифа) то в качестве Den выступает знаменатель этой метрики (в данном случае общее кол-во поисковых запросов) Если же метрика имеет тип Count (например, число уникальных пользователей, посмотревших тариф), то ее значение нормируется на количество участников эксперимента в группе. Таким образом, все метрики в отчете фактически имеют тип Ratio.

При нажатии на значение в колонке показывается график изменения выбранной величины. Как и для других столбцов, на график можно смотреть в 2 режимах - подневно и за период эксперимента (переключается в правом верхнем углу формы с помощью кнопок 1d/Cumulative соответственно). Приводятся значение соответствующего столбца для каждой из сравниваемых групп раздельно.

Колонки Num и Den также могут подкрашиваться в зависимости от значимости изменения Num и Den соответственно. Это помогает анализировать за счет какой компоненты произошло изменение Ratio метрик в отчете.