hh.ru
Событие
Митап о продуктовой аналитике от hh.ru
Программа
Поздравляем, ты долистал(а) до настоящей находки! Ждём тебя 14 октября в 18:30 на онлайн-митапе для продуктовых аналитиков от hh.ru. На встрече разберём, как заменить цикл A/B-тестов «многоруким бандитом», зачем аналитикам e-grocery отдельный ID корзины, как тестировать системы приоритезации лидов, оценивать эффект охватной рекламы и находить причины просадок в поиске.
Когда и где
14 октября в 18:30. Трансляция пройдет в VK и YouTube, ссылки на неё отправим незадолго до начала митапа.
Программа находок в этот вечер
Кирилл Фейн, руководитель продуктовой аналитики горизонталей, hh.ru — «Бандит» вместо A/B: как баннер карьерных курсов сам выбирает посылы для целевой аудитории
Баннер с подборкой онлайн-курсов — один из главных входов в карьерные сервисы hh, и продукт регулярно тестирует на нём новые актуальные посылы для клиентов. Проверка каждого посыла через классический A/B-тест стала забирать слишком много ресурсов, при этом по итогам месяца эффект был близок к нулю. Но мы нашли решение этой проблемы.
В докладе расскажу, как аналитики hh заменили цикл A/B-тестов «многоруким бандитом»: он сам перераспределяет показы между вариантами баннера и оптимизирует переходы на курс. Покажу, как требования бизнеса превратились в конкретные настройки алгоритма, и разберу контрольный A/B-тест «бандит против ручной раскатки каждого варианта» — и что он показал на реальных данных. В конце поговорим о граблях, на которые мы наступили, чтобы вам их избежать.
Анастасия Тяпкина, старший продуктовый аналитик, X5 Digital — Зачем в X5 используют ID корзины
В e-grocery часто сталкиваются с брошенными корзинами и необходимостью анализа причин, почему клиент не дошел до оплаты. Обычно брошенная корзина определяется через данные сессий пользователя, в которых клиент «ушел». Такой подход работает лишь до определённого предела: он не видит происходящее за границами одной сессии, не привязывается напрямую к конкретному заказу и не различает параллельные попытки покупки с разных адресов. Столкнувшись ограничениями при проектировании метрики «брошенные корзины», мы решили уйти от сессий к отдельной сущности — ID корзины.
В докладе расскажу, как устроена эта сущность на техническом уровне, как мы спроектировали саму метрику и почему выбрали именно суточное окно брошенности. Покажу, насколько больше инсайтов про поведение пользователей из данных мы можем получить в новом подходе, и что уже успели найти. В конце продемонстрирую, что это дало бизнесу по сравнению со старым подходом, и куда мы двигаемся дальше.
Дмитрий Утенков, аналитик, hh.ru — Как тестировать системы приоритизации лидов: метрики, рандомизация и человеческий фактор
Системы приоритизации лидов помогают понять, на каких клиентах стоит сфокусироваться в первую очередь. Но проверить, действительно ли такая система приносит бизнесу пользу, сложнее, чем может показаться.
Из доклада вы узнаете, как тестировать системы приоритизации лидов в коммерции: от дизайна эксперимента и выбора метрик до проверки устойчивости результата. Я на примерах разберу, где такие тесты чаще всего дают ложные выводы, что делать с B2B-выручкой, где пара крупных платежей перевешивает вклад самой модели, и почему короткое окно может исказить результаты теста.
Александр Кореньков, старший продуктовый аналитик, X5 Digital — Marketing Mix Modeling: единая система оценки охватной рекламы
Оценка охватной рекламы классическими методами может сильно искажаться за счет влияния различных внешних и внутренних факторов. Внедрение MMM в расчеты рекламы ТС5 и ТСХ позволяет математически изолировать чистые инкрементальные эффекты от медиа кампаний с участием ТВ, радио, наружной рекламы, а также цифровых размещений. Подробнее о том, как это происходит в X5, можно будет узнать из моего доклада.
Анастасия Маврина, старший продуктовый аналитик, X5 Digital — Проблемы поиска в e-grocery и их детектирование
Просадка поисковых метрик показывает, что с поиском что-то не так, но не объясняет, где именно возникла проблема: в понимании запроса, ассортименте или ранжировании. Чтобы быстрее находить источник таких просадок, мы разделили проблемы поиска на типы и подобрали для каждого свои диагностические метрики.
В докладе я расскажу, как устроена классификация проблем поиска, какие мы использовали метрики и к чему это в итоге привело. Вы узнаете:
- какие проблемы поиска мы выделили и как разделили их по типам
- какие метрики мы используем для диагностики каждого типа проблем
- насколько точнее мы стали локализовать проблемы и как это повлияло на бизнес
Ведущий митапа – Кирилл Кочнев, руководитель продуктовой аналитики hh.ru
Спикеры
Кирилл Фейн
руководитель продуктовой аналитики горизонталей, hh.ru
Анастасия Тяпкина
старший продуктовый аналитик, X5
Дмитрий Утенков
аналитик, hh.ru
Александр Кореньков
старший продуктовый аналитик, X5
Анастасия Маврина
старший продуктовый аналитик, X5
Программа
14 октября
-
18:30
Стартуем
-
18:35
«Бандит» вместо A/B: как баннер карьерных курсов сам выбирает посылы для целевой аудитории
-
19:00
Зачем в X5 используют ID корзины
-
19:25
Как тестировать системы приоритизации лидов: метрики, рандомизация и человеческий фактор
-
19:50
Marketing Mix Modeling: единая система оценки охватной рекламы
-
20:15
Проблемы поиска в e-grocery и их детектирование
Регистрация
Партнёры
Официальные партнёры