Кроме шуток. В допещерные времена (в случае Аналитики в России речь идет о временах 5–10 лет назад) Иерархию Метрик делали только в технически развитых конторах (например, Яндекс) и только для флагманских продуктов (например, для Поиска). Зачем?
Дело в том, что если у Интернет-магазина игрушек например какая-нибудь
кнопка после релиза изменит свою конверсию с 0,12% на 0,11% вряд ли кто-то что-нибудь заметит в плане не только месячной, но и даже годовой выручки. А вот в Amazon заметят, причем быстро. А там еще акционеры. И будет совсем больно.
Именно поэтому в массовых продуктах, где
любой релиз — это огромные риски, есть
приемка релизов. Нельзя просто так взять и выкатить в продакшен. Ребята из Яндекса про это уже рассказывали наружу (есть на Youtube). Я не говорю ничего нового. Для приемки релизов придумали и создали
Иерархию Метрик. Зачем? Иерархия Метрик позволяет - локализовать причины изменений на графиках важных метрик ("расследовать аномалии")
- не выкатывать изменения, которые могут навредить всей компании (правило: метрики верхнего уровня не должны просесть, даже если целевая метрика релиза выросла).
Иерархия Метрик — это больше, чем древовидная структура метрик. В 2012 году я впервые услышала об Иерархии Метрик на втором потоке ШМЯ (Школы Менеджеров Яндекса) от большого ученого (математика) и руководителя качества Поиска на тот момент — Дениса Расковалова. Честно скажу, но даже мое физтеховское образование не помогло.
За 10–15 минут понять эту тему глубоко не удалось. Многие сейчас пропагандируют Иерархию Метрик. Но это просто
древовидные структуры. "Вот смотрите LTV, он зависит от Retention, определим между ними связь". Я смею утверждать, что это немного не то. Таким образом выстроенная Иерархия Метрик —
не более, чем мыслеобраз. Хотя для Интернет-магазина игрушек — уже не плохо.
Если вы уже как Amazon или движетесь в его сторону, придется применить научный подход к построению Иерархии Метрик.Сразу признаюсь, никогда не делала Иерархию Метрик как у Дениса. Но её построение означает, что вы не просто обозначите связи между дублирующими друг друга по смыслу и не выдерживающими критики метриками, а как минимум
1)
докажете эти связи по данным,
2)
изучите чувствительность метрик,
3)
сделаете ревью метрик (глазами людей, которые умеют писать и проверять формулы).