Что такое OEC

Что означает термин OEC

OEC (Overall Evaluation Criterion) - парадигма в проведении АБ тестов, подразумевающая выбор итоговой метрики для последующего анализа результатов экспериментов и принятия решения о его выкатке в продакшн. В идеальном сценарии, метрика ОЕС представляет собой композицию продуктовых метрик, вычислимых в эксперименте, которые являются хорошими оценками долгосрочного эффекта для бизнеса.

OEC является эффективным инструментом постановки продуктовых гипотез, на основе которых можно просто и быстро оценить эффект от изменений в продукте.

При этом также заранее оценивается длительность эксперимента, объем трафика, ожидаемое изменение и MDE метрики.

Какие проблемы решает ОЕС?

Использование такого подхода позволяет упростить работу над принятием решения о раскатке. Количество посчитанных метрик в уникальных разрезах в отчете может исчисляться десятками тысяч. Принимать решение о судьбе эксперимента на основе такого количества данных становится затруднительно.

Кроме того, применение ОЕС значительно упрощает передачу экспертизы другим сотрудникам компании - можно посмотреть эксперименты других команд и разобраться, какие цели они ставили перед собой, понимать, какие эксперименты были полезны и отсекать неэффективные тесты в дальнейшем.