Продолжение поста «Глава 6: Метрики и аналитика»
Предыдущие статьи:
Работа с результатом
Как формулировать ожидаемый результат?
Сначала результат, потом гипотезы
Твоя работа как продакт-менеджера заключается не в генерации гипотез, а в поиске решений для получения результата. Кажется, что разница небольшая, но с такой формулировкой фокус смещён на нужную область. Это уже озвучивалось ранее, но мне кажется важным повторить ещё раз: фичи сами по себе никому не нужны. Не нужно вводить функциональность ради функциональности. Внося любое изменение в продукт, ты должен понимать, какой эффект ты надеешься получить. То есть ещё до генерации гипотез должен быть сформирован ожидаемый результат.
Определи цель. Часто это влияние на какую-то продуктовую метрику;
Выдели сегмент аудитории, для которой хочешь изменить метрику;
Определи, какой именно эффект хочешь получить. Например, увеличить Retention D1 до 10%;
Сформулируй гипотезы.
Сначала результат, потом гипотезы. Не наоборот. Гипотеза — это инструмент решения задачи, а не сама задача. Представь, что тебе нужно забить гвоздь на 5 сантиметров. Твоё предположение, что это можно сделать молотком. Вот молоток и есть гипотеза.
Реальная практика, конечно же, суровее теории. Будут возникать ситуации, когда ты можешь определить метрику, на которую хочешь повлиять, но твоя цель — получить положительные статистически значимые изменения. Работа над зрелыми продуктами только так и складывается. Такой подход тоже работает, пусть и конкретики меньше. Но даже так сохраняется принцип «результат первичнее гипотез».
Шаблон ожидаемого результата
Для [сегмент/персона] в [сценарий/этап пути] мы добьёмся [изменения поведения], что приведёт к [бизнес-эффекту], измерим через [набор метрик], влияя на [ключевую метрику] через изменение [метрики влияния], при этом соблюдаем [ограничения].
Пример:
«Для новых пользователей на онбординге добьёмся роста активации с 38% до 45%. Измеряем: Ключевая метрика (Primary) — Activation, Метрики влияния (Input) — процент завершения онбординга, Time-to-Value; Ограничения — Retention D7 не ниже 24%, Отказы не ниже 10%.»
Корзина метрик
Primary (North Star/целевая метрика): одна главная метрика результата;
Input/метрики влияния: рычаги, на которые ты реально можешь повлиять;
Guardrails/ограничения: что не должно ухудшиться (удержание, отказоустойчивость, маржинальность и т. д.).
Итого
Ожидаемый результат должен быть:
Измерим и конкретен: (%, per user, per cohort), а не «сумма за всё время»;
Основан на ключевой метрике эксперимента;
Иметь цель, определённые показатели успеха;
Привязан к сегменту и сценарию.
Пример плохого ожидаемого результата: «+20% MAU».
Как интерпретировать результаты?
Тут в вопросе небольшой обман. Под интерпретацией результата на самом деле подразумевается валидация данных. Если ты уверен в точности полученных метрик и в их правдивости, то сможешь сделать правильные выводы. Иду на этот обман осознанно, чтобы донести мысль: не делай выводы на данных, в достоверности которых не убеждён.
Правдивая формулировка вопроса скорее «Какими данные должны быть, чтобы правильно интерпретировать результат». Именно на этот вопрос я и отвечаю ниже.
Пять вопросов к любому результату
Ниже перечислены важные вопросы к результату, а в скобках указано, что нужно проверить, чтобы убедиться, что всё в порядке.
Измерили ли мы то, что хотели? (валидность метрики, корректность ивентов);
Насколько велик эффект? (абсолютный прирост, относительный %, effect size);
Данные надёжны? (доверительные интервалы, статистическая мощность, риск ошибки; Sample Ratio Mismatch исключён?);
Нет ли предвзятости и противоречий в данных? (есть ли честный контроль; не перепутали сезонность/каналы/миграции?);
Учтены внешние эффекты? (не «съели» ли другие показатели: монетизация, стабильность, NPS; нет ли сезонности?).
Основная сложность в том, что без достаточного опыта в подсчётах крайне сложно ответить на любой из этих вопросов. Поэтому и существует столько разновидностей аналитиков. Работа с данными и интерпретация результатов — сложная и очень важная профессия.
Быстрый чеклист для проверки данных
Проверь Sample Ratio Mismatch: доли трафика в группах соответствуют плану? Они распределены как задумано? Например, 50/50 для A/B-теста;
Event-аудит: нет ли потерянных/дублированных событий? Уверен в источнике данных?
Не навреди: метрики ограничений в норме?
Переобучение/новизна: эффект не угас через 2–3 недели? Посмотри на ключевую метрику в динамике за период эксперимента и после его завершения.
Сегментация
Смотреть на результат «в среднем по больнице» категорически нельзя. Метрики в общем смысле могут вырасти, но при этом «обвалиться» по важным сегментам.
Обязательно посмотри, как отреагировали на изменение новые и старые пользователи. Может оказаться, что метрики для текущей базы сильно просели и не вернулись в прежнее состояние. Это может привести к оттоку действующих пользователей. Проседание метрик у текущих пользователей — нормальное явление на старте. Не делай выводы до завершения эксперимента.
Какие сегменты можно выделить дополнительно:
по источникам трафика;
платящие / неплатящие;
по устройствам / операционным системам;
по географии (страны, регионы, города).
Все эти сегменты могут по-разному реагировать на одно и то же изменение в продукте. Всем, конечно, не угодишь, но для правильных выводов нужно понимать, как ты повлиял на разные группы пользователей.
Unit-экономика
Совсем хорошо посчитать unit-экономику для каждого сегмента. Unit-экономика может «зарубить» позитивное изменение ключевой метрики, потому что вдруг окажется, что доходы упали по важным или вообще по всем сегментам.
Итого
Чтобы сделать правильно интерпретировать результаты:
убедись в достоверности данных;
делай выводы по каждому сегменту отдельно;
определи влияние на финансовые метрики.
Что делать, если данные неочевидны?
Бывает так, что после эксперимента ключевая метрика стала хуже, и совсем непонятно, почему это произошло. Метрика могла даже вырасти, но найти причины этого с первого взгляда не получается. Данные нередко бывают неочевидны.
Посмотри с разных сторон
Исследуй воронку и найди шаг, на котором больше «отваливаются» пользователи. Пройди путь пользователя сам или попроси друзей/коллег и понаблюдай;
Исследуй сценарий пользователя с помощью вебвизора или тепловых карт кликов для разных устройств. Возможно, есть что-то, что мешает пользоваться продуктом;
Интервью / опросы: поговорить с пользователями всегда полезно.
Сделай метрику чувствительнее
Перейди от «в среднем» к метрикам «на пользователя / на сессию»;
Смотри DAU/MAU вернувшихся юзеров и медиану вместо среднего, если распределение с длинным хвостом;
Введи ранние индикаторы (leading): время до перехода в ключевой сценарий, реферальный эффект, успешные установки.
Управление шумом и мощностью
Увеличь период наблюдения или размер выборки;
Раздели пользователей на однородные сегменты (один тип устройства, схожий возраст, схожий доход и т. д.);
Используй квази-эксперименты (до–после, синтетический контроль), если A/B невозможен;
Сформулируй решение при неопределённости: «Если прирост > X — раскат; если в [Y; X] — доэксперимент / улучшение дизайна; если < Y — откат».
Не бойся менять вопрос
Иногда ответ «неочевиден» потому, что вопрос был неправильным. Возвращайся к самому началу: какую поведенческую переменную ты хочешь сдвинуть? Возможно, ключевая метрика (North) была выбрана неверно, и вместо того чтобы искать ответ, нужно просто начать эксперимент заново, выбрав другие метрики.
Как избежать ловушек (vanity metrics)?
Vanity-метрики, или метрики тщеславия, красиво растут, но мало что решают: «всего регистраций», «всего скачиваний», «просмотры» без контекста, «лайки». Они:
кумулятивны (легко растут);
не нормированы (ни к чему не привязаны);
слабо связаны с ценностью и деньгами;
легко манипулируемы.
Проще говоря, такие общие метрики вообще никак не отражают качество продукта и его удобство. В твоём продукте может быть бешеное MAU, но при этом все эти пользователи проводят в продукте меньше минуты и никогда не возвращаются. И какой смысл от большого MAU тогда?
Принципы анти-vanity
Нормируй: per user / per session / per cohort / per exposure (на контакт);
Привязывай к поведению: activation, retention, frequency (частота), depth (глубина), conversion (конверсия);
Следи за качеством: ARPU или ARPPU, LTV или CAC, churn (отток), payback (окупаемость), margin (маржа);
Ставь ограничения: retention, отказоустойчивость, количество жалоб, возвраты средств;
Избегай усреднений в тяжёлых хвостах: медиана и P75 (75-й процентиль) часто информативнее среднего.
Что использовать вместо vanity-метрик?
❌ Зарегистрировано всего
✅ Activation D1/D7, Процент завершения онбординга, Time-to-Value
❌ Просмотры страниц
✅ Конверсия по воронке, CTR в ключевое действие, Количество страниц за сессию
❌ Установки
✅ Доля запусков приложения после установки, Retention D1/D7, CAC
❌ Лайки/реакции
✅ Количество активных авторов, количество популярных публикаций
❌ MAU в целом
✅ DAU/MAU активной аудитории, WAU на когорту, доля вернувшихся от общего MAU
Мини-чеклист
Перед стартом эксперимента
Ожидаемый результат сформулирован по шаблону, понятен сегмент/сценарий;
Корзина метрик: ключевая + влияния + ограничения, единицы измерения нормированы;
Гипотезы и риски записаны, метод измерения согласован (A/B, квази и т. д.);
Ты уверен в источнике данных, распределение групп эксперимента контролируется.
После получения результата
Эффект: абсолютный и относительный, с доверительным интервалом;
Валидация причинности и контроль фоновых факторов (сезонность, источники привлечения, релизы в продукте);
Сегментация: где эффект концентрируется / исчезает;
Метрики ограничений в норме, внешних издержек нет;
Решение и следующий шаг: раскат / итерация / откат; обнови приоритеты и карту метрик;
Зафиксируй результаты эксперимента: контекст → гипотеза → метод → результат → решение → что делать иначе в следующий раз.
Итог шестой главы
North Star Metric — главная метрика продукта, отражающая ценность для пользователя и коррелирующая с бизнес-результатами;
Фреймворк HEART (Happiness, Engagement, Adoption, Retention, Task Success) — удобная структура для выбора релевантных метрик;
Leading и Lagging метрики — нужно балансировать между предсказывающими и фиксирующими результат показателями;
Источники данных — количественные (аналитика, CRM, финансы, логи) и качественные (интервью, саппорт, продажи); важно интегрировать их в единый «источник правды»;
Метрики для новых функций — сначала цель, затем ключевая метрика, связанные показатели, сроки и критерии успеха;
Если аналитики нет — начать с 3–5 базовых метрик и коробочных систем (Яндекс.Метрика, AppMetrica), постепенно выстраивая культуру работы с данными;
Главные ошибки — гонка за vanity-метриками, игнорирование целостной картины, отсутствие сегментов, подгонка целей под результат;
Вовлечённость — измеряется частотой, глубиной и регулярностью использования продукта, а не просто «временем в приложении»;
Retention — зеркало вовлечённости, отражает возвращаемость за ценностью и напрямую связано с монетизацией (LTV);
Поведение = доход — выручка растёт через активацию, глубину использования, удержание и сегментацию пользователей;
Интерпретация результатов — важна достоверность данных, проверка эффекта, сегментация и влияние на юнит-экономику;
Неочевидные данные — нужно копать глубже: анализировать воронку, интервьюировать пользователей, смотреть медианы, увеличивать выборку;
Vanity-метрики — опасны, так как не отражают реальную ценность. Их заменяют нормированные и поведенческие показатели (activation, retention, ARPU и др.).
То же самое в формате тг-канала. Сначала будет выходить там отдельным постами по чуть-чуть, потом здесь большой статьей.