Як ми міряємо чесно
Контрольна група: як чесно виміряти приріст викупу від нагадувань
Будь-хто може сказати «після наших SMS викуп виріс». Але, можливо, просто змінився сезон, реклама чи асортимент. Щоб відповісти чесно, Rampo робить A/B тест нагадувань: частина покупців — контрольна група, якій ми не нагадуємо. Приріст викупу — це різниця між групами, і ми завжди показуємо її з похибкою.
- Поділ за останньою цифрою телефону покупця
- Ваші SMS і дзвінки тривають для обох груп
- Висновки — лише на достатній кількості посилок
± похибка
Кожна цифра ефекту — з похибкою. Без неї цифра нічого не означає.
Що таке контрольна група — простими словами
Ми ділимо покупців на дві групи за останньою цифрою телефону. На пілоті непарні цифри (1, 3, 5, 7, 9) — контрольна група, парні — група з нагадуваннями. Це 50 на 50. Після пілоту контрольна група звужується до цифр 1 і 3 — це приблизно 20% покупців.
Обидві групи отримують посилки в ті самі дні, з тією самою рекламою, в той самий сезон. Єдина різниця — нагадування від Rampo. Тому різниця у викупі між групами — це і є ефект сервісу, а не випадковість календаря.
- Один покупець з двома замовленнями — завжди в одній групі
- З групи нагадувань у контроль покупець не переходить ніколи
- Контроль — це «як зараз», а не «нічого»
Як виміряти ефективність SMS і нагадувань: формула
Контроль — це ваша поточна практика
Якщо ваші менеджери вже дзвонять тим, хто не забрав, а CRM надсилає SMS «посилка прибула», — усе це триває для обох груп. Rampo додає своє лише в групі з нагадуваннями. Тож ми міряємо приріст понад те, що ви робите зараз.
Як рахуємо викуп
Для кожної групи: викуп = викуплені ÷ (викуплені + невикуплені). Викуплені — отримані посилки; невикуплені — відмови і повернення відправнику. Посилки зі статусом «не визначено» показуємо окремим рядком і ніколи не рахуємо втратами.
Стандартна похибка різниці
ефект = p₁ − p₂
похибка (SE) = √( p₁(1 − p₁)/n₁ + p₂(1 − p₂)/n₂ )
Де p₁ і p₂ — викуп у групі з нагадуваннями і в контрольній, n₁ і n₂ — кількість посилок з відомим результатом у кожній групі.
Приклад розрахунку
Група з нагадуваннями: 89,4%, контрольна: 86,0%, по 425 посилок у кожній. Різниця +3,4 п.п. Похибка ≈ 2,2 п.п., а інтервал, у якому з високою ймовірністю лежить справжній ефект, — приблизно ± 4,4 п.п. (дві похибки). Тобто це сигнал, але ще не доказ.
Скільки посилок потрібно
| Посилок у кожній групі | Похибка різниці | Ефект 3,5 п.п. — це |
|---|---|---|
| 105 | ≈ 4,5 п.п. | шум |
| 425 | ≈ 2,2 п.п. | сигнал, не доказ |
| 1 050 | ≈ 1,4 п.п. | помітний ефект |
| 2 000 | ≈ 1,0 п.п. | надійний висновок |
Тому результат одного невеликого магазину часто буде в межах випадковості. Щоб не виставляти рахунок «за шум», ми показуємо дві цифри: ваш результат з похибкою і загальний результат усіх пілотів. Загальне рішення «працює продукт чи ні» ми ухвалюємо лише тоді, коли в кожній групі по всіх пілотах набирається щонайменше 2 000 посилок з відомим результатом.
Таймлайн пілоту: 21 + 14 = 35 днів
Пілот безкоштовний. Рахуємо лише посилки, відправлені у вікні пілоту.
День 0: старт
Після підписання оферти і договору та підключення окремого API-ключа вмикаємо список на обдзвін і ділимо покупців 50/50.
Дні 1–21: відправлення
Усі посилки з наложкою, відправлені в ці дні, потрапляють у пілот. Менеджери працюють зі списком, група нагадувань отримує нагадування.
Дні 22–35: результат
Ще 14 днів, щоб кожна посилка була отримана, повернулася або завершила зберігання.
День 35: звіт
Викуп у кожній групі, різниця, похибка, «не визначено» окремим рядком і рекомендований наступний крок.
Чотири можливі підсумки пілоту
Наперед знаєте, що буде за кожного результату. Нічого не треба вирішувати наосліп.
| Що бачимо | Що пропонуємо | |
|---|---|---|
| Ефект підтверджено | Ваша різниця — від +1 п.п. | Рахунок за тарифом «Список» або «Авто» лише за посилки поза контролем |
| Замало даних | Різниця в межах випадковості, загального результату ще немає | Продовжуємо пілот безкоштовно до остаточного загального результату |
| Ефект малий у вас | Ваша різниця в межах похибки, але загальний результат підтверджено | Оплата за результат: лише за додатково викуплені посилки |
| Ефекту немає | Загальний результат нижчий за поріг | Чесно зупиняємося, без рахунку |
Ми не обіцяємо «гарантований +X%». Очікуваний приріст +3,5 п.п. — гіпотеза. Саме для того, щоб її перевірити, а не повірити на слово, і існує контрольна група.
Питання про контрольну групу
Чи не втрачаю я продажі на контрольній групі?
Ні. Контроль — це не «нічого», а ваша поточна практика: свої SMS, дзвінки менеджерів тривають. Ви просто не отримуєте для цих покупців додаткових нагадувань від Rampo.
Чому поділ за телефоном, а не за номером ТТН?
Щоб один і той самий покупець з кількома замовленнями завжди був в одній групі і не «перетікав» між ними. Це робить вимір чистішим.
Що таке A/B тест нагадувань?
Це порівняння двох груп покупців, які відрізняються лише одним — чи отримують вони нагадування. Різниця у викупі між ними і є ефектом нагадувань.
Навіщо контрольна група після пілоту?
Щоб щомісяця бачити, що ефект не зник. Після пілоту це 20% покупців (цифри 1 і 3), і за їхні посилки ми не беремо оплату.
Чому мій результат з такою великою похибкою?
Бо похибка залежить від кількості посилок. На кількох сотнях посилок у групі вона 2–4 п.п. Тому ми показуємо і ваш результат, і загальний по всіх пілотах.
Як рахуються посилки «не визначено»?
Окремим рядком. Ми ніколи не зараховуємо їх ні до викуплених, ні до втрат.
Перевірте ефект на своїх посилках
Почніть з безкоштовного аудиту: побачите свій відсоток викупу і втрати в гривнях. Далі — пілот 35 днів з контрольною групою.