8 Jul 2025, 11:05 UTC≈1,010 views24 reactionsread 8 August 2026 Photo
Как покрасить главную метрику?
В каждом бизнесе есть самая главная метрика - EBITDA, GMV, кол-во кастомеров, кол-во подписчиков, timespent и тп
Проблема в том, что в обычных небольших экспериментах прокрасить ее почти невозможно. В итоге получается, что команды как будто год работали, но не могут показать свое влияние на основную метрику. Давайте это исправлять
1. В АВ красить основную метрику в срезе Х -> Пересчит…
👍12❤7🔥5
Signed Ivan Maksimov
29 Jun 2025, 09:07 UTC929 views30 reactionsread 8 August 2026 Forwarded from @honestmarketingPhoto
Вашему вниманию — а/б тестирование в реальной жизни
🤣27💔3
Signed Ivan Maksimov
13 Jun 2025, 12:11 UTC≈1,460 views24 reactionsread 8 August 2026 Photo
А/В тесты и ревью
Наступает пора лентих ревью - все подводят итоги полугодия. И как правило, команда bottom-up суммирует приросты метрики во всех своих успешных А/В - таким образом получает суммарных эффект своих внедрений. Спешу вас расстроить: этот эффект сильно завышен. На это есть 3 причины:
- Вероятность ошибок alpha "суммируются" в серии экспериментов: часть экспов из серии не несет эффекта
- Периодически эксп…
🔥15👍5custom 53956955376871232354
Signed Ivan Maksimov [БОЛЬНИЧНЫЙ до 12 июня]
11 Jun 2025, 06:46 UTCviews —3 reactionsread 8 August 2026 Posted without readable text
❤3
29 Mar 2025, 07:32 UTC≈1,400 views19 reactionsread 8 August 2026 Разбор №8. А/В тесты в логистике дарксторов
Эх, мои любимые тесты со времен работы в доставке еды 🙂
Отрасль: Доставка продуктов из дарксторов
Кто прислал на разбор: Аналитик
Сам кейс:
Проводим А/В тесты на метрики Click-to-Eat или процент опозданий на уровне дарксторов. Но их мало и они сильно отличаются друг от друга. Сложно разбивать на тест и контроль: АА тесты могут сходиться на одном периоде и расходиться на д…
👍13❤4⚡2
Signed Ivan Maksimov
22 Mar 2025, 15:05 UTC≈2,170 views27 reactionsread 8 August 2026 Photo
Т-тест VS Манн-Уитни
Холивар эпохи во многих компаниях и сообществах) Лично я стою на стороне добра t-test. Для начала..
Чем плох тест Манна-Уитни?
Многие думают, что это критерий про равенство средних, но на самом деле это ранговый критерий про изменение распределения
H0: f_a = f_b
H1: f_a != f_b
В качестве частного (!) упрощения можно считать, что это критерий про сдвиг распределения
f_a = f(x)
f_b = f(x + dx)
H…
👍16🔥6❤5
Signed Ivan Maksimov [ОТПУСК до 24 марта]
14 Mar 2025, 05:41 UTC944 views27 reactionsread 8 August 2026 А оно все еще работает?
Знаете ту ситуацию, когда был запуск громкой маркетинговой скидки: она в начале несла кучу денег, а сейчас кажется, что скорее несет кучу фрода? Или когда ты полгода-год назад сделал классную фичу и очень ею гордишься. Но начали приходить тревожные звоночки, что сейчас она уже не комильфо?
Вот и А/В полиция тоже знает) Это классические проблемы "эффект новизны" и "долгосрочных эффектов"
Чтоб…
👍17🔥6❤4
Signed Ivan Maksimov
11 Mar 2025, 08:36 UTC878 views0 reactionsread 8 August 2026 Poll
Мне хочется посты про..
- Технические основы А/В (критерии, MDE, ...)66%
- Технические advanced темы (ускорение, АВ-платформы, ...)68%
- Кейсы в бизнесе (как история про А/В в маркетинге)64%
- Разборы вопросов подписчиков28%
- А/В-культуру: как построить, хорошие практики, ...61%
The shares total 287%, above 100: this poll accepts more than one answer per voter. No per-option vote count is published, so the number of voters who chose each option is not derivable and is not shown.
Signed Ivan Maksimov
11 Mar 2025, 08:32 UTC842 viewsread 8 August 2026 Poll
Кем вы работаете?
- DS / ML-инженер42%
- Аналитик33%
- Тимлид аналитики9%
- C-level (CDO, CMO, ...)5%
- Разработчик1%
- Маркетолог2%
- Продакт / Проджект7%
- Менеджер в логистике0%
- Менеджер в коммерции0%
Shares as published, totalling 99%. No per-option vote count is published by Telegram, so none is shown.
Signed Ivan Maksimov
11 Mar 2025, 08:30 UTC720 views5 reactionsread 8 August 2026 Нас уже больше 500 человек: пора получше узнать, кто же подписался на канал)
Это поможет лучше составлять идеи для постов и баланс бизнес/технический постов
👍5
Signed Ivan Maksimov
7 Mar 2025, 07:10 UTC≈1,140 views14 reactionsread 8 August 2026 5 стульев Ratio метрик
Осторожно, технопост!
После разбора про ratio метрики (= метрики-дроби) несколько человек спросили, какой же из 5 способов работы с ними лучше выбрать?
От А/В тестирования мы хотим глобально 3 вещи:
- Статитстическая корректность (Имеем реальных ошибок 1 и 2 рода не больше alpha и 1-мощность)
- Можно крутить много тестов параллельно по 1-2 недели, а не по 100 лет
- Легко и быстро считается ана…
👍8🔥4❤1custom 53956955376871232351
Signed Ivan Maksimov
3 Mar 2025, 07:22 UTC850 views11 reactionsread 8 August 2026 Отдельная камера АВ-рецидивистов - ч.1
В темном-темном городе есть темное-темное отделение АВ-полиции, в котором есть темная-темная камера для злостных нарушителей АВ-культуры. Отчет о ее составе будем публиковать по частям
Джонни: раскатывал фичу до окончания А/В теста
Эксперименты - дотошная вещь. Надо держать по 2-3 недели на приличный % пользователей. Определить 1-2 целевых метрик, пару контрольных, да еще и ба…
👍4🔥4custom 53956955376871232352👎1
Signed Ivan Maksimov
Showing the 12 most recent of 19 posts we hold for @abpolice. View and reaction counts are the latest single reading for each post, not a live figure, and a recent post is still accumulating both. A view count marked ≈ was rounded by Telegram before we ever saw it — t.me prints views in full below 1,000 and to three significant figures above, so ≈1,200,000 means somewhere between 1,150,000 and 1,249,999. Unmarked counts are exact. Text is reproduced from the public post preview and truncated for length.