О чем чаще всего продакты и маркетологи спрашивают аналитика? Независимо от опыта и проекта, вопросы похожи. Искушенный в аналитике супер-герой может спросить: "Как интерпретировать эксперимент с противоречащими изменениями двух метрик в тестовой и контрольной выборке?" или "Как приоритезировать список возможных изменений продукта?" Это сложные вопросы и для продакта, и для аналитика. Но решаются они ответом на более простые и в то же время базовые вопросы: "Откуда брать метрики, которые надо измерять?" и "Какова связь между индикаторами бизнеса?"

Набивая шишки и спасая Вселенную, в личном опыте я пришла к методу пирамиды или иерархии метрик. Так я называю подход к решению задачи поиска и упорядочения метрик как всего бизнеса, так и локально - продукта, маркетинга.

Подход Пирамиды метрик включает в себя выбор уровней фокуса взгляда на продукт - уровни пирамиды (1). На верхнем уровне пирамиды располагаются метрики бизнес-целей. Следующий шаг - ответить на вопросы в терминах метрик, располагая метрики по уровням пирамиды:

- От чего зависит рост метрики конкретной бизнес-цели?
- На что влияет конкретная группа в команде продукта?
- Для чего существует конкретный продукт или его составная часть?

Следующий шаг - формулы связи метрик (2) внутри уровней пирамиды и связи ключевых метрик каждого слоя между собой. При записи связей метрик возможно придется добавить или убрать какие-то метрики из пирамиды, также вы можете осознать, что ряд метрик являются сквозными (например, Retention - это и цель бизнеса на этапе привлечения инвестиций и метрика продукта). Как только процесс выбора метрик и связей между ними завершен, я как правило строю распределение случайной величины (метрики) по пользователям и событиям. Завершающий шаг - отталкиваясь от актуальных целей, находим точки роста бизнеса: измеряем текущие показатели и ставим измеримые цели (KPI).

Например, аудитория проекта в 2 раза меньше планируемой. С помощью формул связи метрик спускаемся вниз по иерархии, чтобы понять, какие измеримые рычаги управления аудиторией у нас есть. Видим, что наилучший способ влиять на размер аудитории - растить рефералов. Спускаемся на уровень ниже - и видим, что рефералы приходят в продукт из личного кабинета. В личном кабинете есть кнопка "Пригласить друга". Мы знаем аудиторию личного кабинета, знаем аудиторию и CTR кнопки. У нас есть все приборы, чтобы управлять популярностью приглашения друзей в продукт.

Пирамида метрик похожа на пирамиду Маслоу. Главное - сверху. Чтобы достичь вершины, надо пройти все ступени, начиная снизу.

Опираясь на личный практический опыт и статьи зарубежных коллег, я пришла к четырем уровням в пирамиде метрик:

1) Бизнес. Наверху пирамиды - индикаторы целей бизнеса. Обычно речь идет о доходе Revenue, размере аудитории DAU, WAY, MAU, возврате инвестиций ROI, совокупной прибыли от одного клиента LTV, показателю возвращаемости пользователей Retention (на этапе привлечения инвестиций), цене привлечения одного клиента CAC и операционных издержках OPEX.

2) Экономика. Ниже уровень экономических отношений между пользователями и продуктом. Здесь расположены метрики, описывающие потоки благ: материальных (деньги) и нематериальных (интерес, польза). Для простых продуктов благами обмениваются пользователь и продукт. Если же мы работаем, к примеру, с маркетплейсом, благами обмениваются 3 типа агентов - потребитель, продавец товаров/услуг и собственно сервис. Примеры метрик: взвешенная конверсия покупок, стартовая корзина, время ожидания услуги.

3) Продукт. Потоки благ зависят от поведения пользователей. Например, рост лояльности стимулирует обмен благами. Если пользователь использует альтернативный сервис или продукт, как правило, у сервиса возрастают издержки, а в продукте растет число брошенных корзин. Поэтому важно научиться отвечать на вопросы о поведении пользователей в продукте. Как продукт влияет на поведение пользователей и их лояльность? Как измерить качество продукта? Влияет ли этот продукт на другие продукты бренда? Нередко мы имеем дело не с одним продуктом, а несколькими. Часть продуктов в линейке не имеют явной схемы монетизации, а служат источниками траффика, или вовсе, лишь растят лояльность к бренду. Вопрос об эффективности таких продуктов может быть решен на третьем уровне пирамиды метрик. Однако для этого нам будут нужны связи метрик.

4) Интерфейс. Самый нижний уровень иерархии - интерфейс продукта. Это аудиторные и временные метрики для экранов и кнопок, а также всеми любимые CTR. В большинстве продуктовых команд аналитика сводится именно к уровню интерфейса продукта. Несмотря на практичность этого подхода к измерениям, он дает результаты только в сочетании с остальными слоями пирамиды. А именно, когда у вас появляется понимание, как метрики в слоях связаны между собой.

Для меня самый простой способ понять связи метрик - написать формулы. Далеко не всегда я могу написать в формуле "=", иногда это "~". Также иногда я прибегаю к допущению, что нематериальные блага измеримы. Так в промежуточных формулах появляются "коэффициенты вовлеченности" или "факторы общительности".
Как вывести формулу связи метрик? Есть 2 простых способа. Первый - это предположить, что вы не можете напрямую посчитать, скажем, аудиторию. Как бы вы тогда посчитали или оценили аудиторию проекта, исходя из других показателей? Отвечая на этот вопрос, вы напишите первую простую формулу. Далее следуйте этому принципу для каждого показателя справа в формуле для аудитории, продолжая упражнение.
Второй способ написать формулу - спросить себя, на какие величины влияет конкретная метрика? Например, на что влияет возвращаемость пользователей (пресловутый Retention)? Чем выше возвращаемость, чем больше аудитория. А почему? Потому что каждый месяц к аудитории прибавляется больше пользователей. Так вы напишите вторую простую формулу с суммой или интегралом.

Когда у вас есть просто список метрик на бумаге, это просто список букв. Самое время обратиться к данным. Как я уже сказала, в своей практике мне удобно строить распределение случайной величины по пользователям и событиям. По виду распределения становятся ясны ответы на многие вопросы. Это и проверка рядя продуктовых гипотез, и обнаруживающиеся инсайты, и самое главное - ответ на вопрос, как считать метрику. Метрика - это случайная величина. Что брать: среднее, медиану или набор квантилей, моды?

Ответ дает распределение. В примерно 70% - распределение близко к степенному или нормальному, с длинным тяжелым хвостом. В этом случае удобно пользоваться медианой, которая в отличие от среднего не смещена в сторону тяжелого хвоста. Есть также еще около 30% метрик, среднее или медиана для которых не имеют физического смысла. Я рассмотрю этот случай двумя абзацами ниже - в примере.

Итак, вы выбрали статистики для всех метрик, и у вас появился дашборд. Самое время посмотреть на реальные числа и формулы связи метрик. Что вы хотите увеличить или уменьшить? Через какие рычаги, измеряемые метриками в формулами, вы на это влияете?

Например, я хочу увеличить доход от приложения с сериалами. Оно монетизируется через подписки. Вероятность очередной подписки тем выше, чем чаще пользователи смотрят сериалы в приложении. Я вижу, что интервалы между сессиями имеют распределение с 2 горбами и длинным хвостом. Горбы на 24 и 48 часов. По сути, выделяется 3 группы пользователей:
1) не чаще 1 раза в день,
2) каждые 1-2 дня,
3) реже, чем раз в 2 дня.
Наша задача - стимулировать всех пользователей к более частому просмотру сериалов в приложении. При этом самые доступные в этом плане пользователи - те, кто смотрит сериалы раз в 2 дня. Почему они ведут себя именно так? Чего им не хватает? Чтобы ответить на эти вопросы, можно углубиться в данные. В чем отличие 1 и 2 групп пользователей? Контент, время просмотра, канал привлечения, пол и возраст? Что мы можем предложить 2 группе, чтобы для ее пользователей наше приложение стало таким же привлекательным?