Как мы измеряем честно
Контрольная группа: как честно измерить прирост выкупа от напоминаний
Любой может сказать «после наших SMS выкуп вырос». Но, возможно, просто сменился сезон, реклама или ассортимент. Чтобы ответить честно, Rampo проводит A/B тест напоминаний: часть покупателей — контрольная группа, которой мы не напоминаем. Прирост выкупа — это разница между группами, и мы всегда показываем её с погрешностью.
- Деление по последней цифре телефона покупателя
- Ваши SMS и звонки продолжаются для обеих групп
- Выводы — только на достаточном количестве посылок
± погрешность
Каждая цифра эффекта — с погрешностью. Без неё цифра ничего не значит.
Что такое контрольная группа — простыми словами
Мы делим покупателей на две группы по последней цифре телефона. На пилоте нечётные цифры (1, 3, 5, 7, 9) — контрольная группа, чётные — группа с напоминаниями. Это 50 на 50. После пилота контрольная группа сужается до цифр 1 и 3 — это примерно 20% покупателей.
Обе группы получают посылки в одни и те же дни, с той же рекламой, в тот же сезон. Единственная разница — напоминания от Rampo. Поэтому разница в выкупе между группами — это и есть эффект сервиса, а не случайность календаря.
- Один покупатель с двумя заказами — всегда в одной группе
- Из группы напоминаний в контроль покупатель не переходит никогда
- Контроль — это «как сейчас», а не «ничего»
Как измерить эффективность SMS и напоминаний: формула
Контроль — это ваша текущая практика
Если ваши менеджеры уже звонят тем, кто не забрал, а CRM отправляет SMS «посылка прибыла», — всё это продолжается для обеих групп. Rampo добавляет своё только в группе с напоминаниями. Значит, мы измеряем прирост сверх того, что вы делаете сейчас.
Как считаем выкуп
Для каждой группы: выкуп = выкупленные ÷ (выкупленные + невыкупленные). Выкупленные — полученные посылки; невыкупленные — отказы и возвраты отправителю. Посылки со статусом «не определено» показываем отдельной строкой и никогда не считаем потерями.
Стандартная погрешность разницы
эффект = p₁ − p₂
погрешность (SE) = √( p₁(1 − p₁)/n₁ + p₂(1 − p₂)/n₂ )
Где p₁ и p₂ — выкуп в группе с напоминаниями и в контрольной, n₁ и n₂ — количество посылок с известным результатом в каждой группе.
Пример расчёта
Группа с напоминаниями: 89,4%, контрольная: 86,0%, по 425 посылок в каждой. Разница +3,4 п.п. Погрешность ≈ 2,2 п.п., а интервал, в котором с высокой вероятностью лежит настоящий эффект, — примерно ± 4,4 п.п. (две погрешности). То есть это сигнал, но ещё не доказательство.
Сколько посылок нужно
| Посылок в каждой группе | Погрешность разницы | Эффект 3,5 п.п. — это |
|---|---|---|
| 105 | ≈ 4,5 п.п. | шум |
| 425 | ≈ 2,2 п.п. | сигнал, не доказательство |
| 1 050 | ≈ 1,4 п.п. | заметный эффект |
| 2 000 | ≈ 1,0 п.п. | надёжный вывод |
Поэтому результат одного небольшого магазина часто будет в пределах случайности. Чтобы не выставлять счёт «за шум», мы показываем две цифры: ваш результат с погрешностью и общий результат всех пилотов. Общее решение «работает продукт или нет» мы принимаем, только когда в каждой группе по всем пилотам набирается минимум 2 000 посылок с известным результатом.
Таймлайн пилота: 21 + 14 = 35 дней
Пилот бесплатный. Считаем только посылки, отправленные в окне пилота.
День 0: старт
После подписания оферты и договора и подключения отдельного API-ключа включаем список на обзвон и делим покупателей 50/50.
Дни 1–21: отправления
Все посылки с наложкой, отправленные в эти дни, попадают в пилот. Менеджеры работают со списком, группа напоминаний получает напоминания.
Дни 22–35: результат
Ещё 14 дней, чтобы каждая посылка была получена, вернулась или завершила хранение.
День 35: отчёт
Выкуп в каждой группе, разница, погрешность, «не определено» отдельной строкой и рекомендуемый следующий шаг.
Четыре возможных итога пилота
Вы заранее знаете, что будет при каждом результате. Ничего не нужно решать вслепую.
| Что видим | Что предлагаем | |
|---|---|---|
| Эффект подтверждён | Ваша разница — от +1 п.п. | Счёт по тарифу «Список» или «Авто» только за посылки вне контроля |
| Мало данных | Разница в пределах случайности, общего результата ещё нет | Продолжаем пилот бесплатно до окончательного общего результата |
| Эффект у вас мал | Ваша разница в пределах погрешности, но общий результат подтверждён | Оплата за результат: только за дополнительно выкупленные посылки |
| Эффекта нет | Общий результат ниже порога | Честно останавливаемся, без счёта |
Мы не обещаем «гарантированные +X%». Ожидаемый прирост +3,5 п.п. — гипотеза. Именно для того, чтобы её проверить, а не поверить на слово, и существует контрольная группа.
Вопросы о контрольной группе
Не теряю ли я продажи на контрольной группе?
Нет. Контроль — это не «ничего», а ваша текущая практика: свои SMS и звонки менеджеров продолжаются. Вы просто не получаете для этих покупателей дополнительных напоминаний от Rampo.
Почему деление по телефону, а не по номеру ТТН?
Чтобы один и тот же покупатель с несколькими заказами всегда был в одной группе и не «перетекал» между ними. Это делает замер чище.
Что такое A/B тест напоминаний?
Это сравнение двух групп покупателей, которые отличаются только одним — получают ли они напоминания. Разница в выкупе между ними и есть эффект напоминаний.
Зачем контрольная группа после пилота?
Чтобы каждый месяц видеть, что эффект не исчез. После пилота это 20% покупателей (цифры 1 и 3), и за их посылки мы не берём оплату.
Почему у моего результата такая большая погрешность?
Потому что погрешность зависит от количества посылок. На нескольких сотнях посылок в группе она 2–4 п.п. Поэтому мы показываем и ваш результат, и общий по всем пилотам.
Как учитываются посылки «не определено»?
Отдельной строкой. Мы никогда не относим их ни к выкупленным, ни к потерям.
Проверьте эффект на своих посылках
Начните с бесплатного аудита: увидите свой процент выкупа и потери в гривнах. Дальше — пилот 35 дней с контрольной группой.