Фильтры в отчете#
В этом разделе приведены описания фильтров, доступных на платформе.
Metrics#
Позволяет выбрать метрики, которые будут отображены в отчете. Узнать описание конкретной метрики можно нажав на ее название в поле отчета или в реестре метрик.
Breakdown#
Позволяет вывести в отчет значения для каждого из подмножества данных, свойственных данному breakdown. Пример: если в качестве breakdown выбрать auth, то в отчете будут показаны выбранные метрики для auth=true и auth=false раздельно.
Примечание: выбранные breakdown выводятся независимо друг от друга.
Если есть breakdown auth и new, каждый с возможными значениями true и false,
то при выборе обоих можно будет увидеть разрезы auth=true, auth=false, is_new=true, is_new=false
Slices#
Позволяет вывести в отчет значения для конкретных подмножеств данных.
У некоторых breakdown может быть большое количество категорий.
Для того чтобы вывести только нужные, можно указать конкретные разрезы в этом разделе.
Пример: если нужно проанализировать поведение только авторизованных пользователей,
можно выбрать auth в breakdown и выбрать slice auth=true.
Platform#
Позволяет показать в отчете метрики, посчитанные по данным только с выбранных платформ. В качестве платформ могут выступать, например, Desktop или iOS.
Comparison#
Позволяет явно указать пару групп, для которой проводится сравнение. Полезно, если в эксперименте присутствует несколько тестовых групп.
Importance#
Позволяет выбрать только метрики соответствующей важности. Важность метрики можно найти в реестре метрик.
Tag#
Позволяет выбрать только метрики с соответствующими тэгами. Тэги метрики можно найти в реестре метрик.
Alpha#
Позволяет выбрать уровень значимости для статистических критериев. Определяет:
- порог, по которому прокрашивается статистика (поле t-stat отчета);
- величину MoE.
Кроме того, под выбором уровня значимости также указано математическое ожидание числа прокрасов при отсутствии эффекта от теста. Эта величина вычисляется как n\dot\alpha, где n - количество метрик.
Significant Only#
Если включен данный режим, то в отчете показаны только те метрики, для которых был обнаружен статистически значимый эффект на уровне \alpha.
Is exposed#
Позволяет выбрать соответствую группу пользователей по принципу взаимодействия с экспериментальным функционалом. В Trisigma мы учитываем только участников с Exposed.
Примечание: при создании эксперимента можно переопределить число дней, которое держится эффект Exposed. Для экспериментов только с Exposed, в Exposed=Any считаются метрики для юзеров за все время эксперимента, а для Exposed=True с учетом времени запоминания Exposed. Если в настройках эта длительность не указана, то значения метрик в True и Any будут совпадать.
Period#
В текущей реализации всегда AB.
Day No#
Показывает значение метрик на выбранный день эксперимента (в хронологическом порядке).
Offset#
Позволяет выбрать, сколько дней эксперимента не учитывать для расчета метрик (в хронологическом порядке, например 14 означает, что мы не брали значения в первые две недели эксперимента).
Hide num below#
Показывает в отчете только те метрики, абсолютное значение в поле Num которых превышает указанный порог.