A/B-тестування — це рандомізований контрольований експеримент, у якому відвідувачів випадково розподіляють між двома версіями сторінки, листа чи функції — контрольною (A) і варіантом (B), — і порівнюють заздалегідь визначену метрику, щоб побачити, чи різниця між ними більша, ніж можна пояснити випадковістю. Це стандартний спосіб дізнатися, чи зміна спричинила покращення, а не просто збіглася з ним у часі.
Метод добре відпрацьований в онлайн-продуктах; практичний посібник Кохаві та колег досі залишається стандартним джерелом (Kohavi et al., «Controlled experiments on the web», Data Mining and Knowledge Discovery, 2009).
Як працює A/B-тестування
- Гіпотеза й метрика. Сформулюйте зміну, очікуваний ефект і одну основну метрику, наприклад частку запитів демо.
- Рандомізація. Кожного відвідувача випадково призначають до A або B і залишають там під час повторних візитів, тож групи відрізняються лише зміною.
- Розмір вибірки. Заздалегідь визначте, скільки відвідувачів потрібно кожній версії, виходячи з базового коефіцієнта, найменшого зростання, яке варто виявити (мінімальний виявний ефект), рівня значущості та потужності.
- Запуск. Дайте тесту набрати цю вибірку, в ідеалі за повні тижні. Не зупиняйте його достроково лише тому, що одна сторона здається попереду.
- Аналізуйте. Порівняйте показники. Результат статистично значущий на рівні 5%, якщо за умови, що різниці насправді немає, такий великий розрив з'являвся б менш ніж у 5% випадків.
Важливі два параметри. Рівень значущості (зазвичай 5%, часто називають 95% довіри) контролює хибнопозитивні результати. Потужність (зазвичай 80%) — це ймовірність виявити ефект, якщо він реальний; тест із недостатньою потужністю здебільшого дає «немає результату».
Приклад
Приклад: сторінка демо конвертується на рівні 3%. Ви хочете виявити відносний приріст 20% (із 3,0% до 3,6%) у двосторонньому тесті з рівнем значущості 5% і потужністю 80%. Стандартна формула для двох пропорцій:
n на варіант = [zα/2 x √(2 p̄(1 − p̄)) + zβ x √(p₁(1 − p₁) + p₂(1 − p₂))]² / (p₂ − p₁)²
- p₁ = 0,030, p₂ = 0,036, p̄ = 0,033, zα/2 = 1,96, zβ = 0,84
- Перший доданок: 1,96 × √(2 × 0,033 × 0,967) = 1,96 × 0,2526 = 0,495
- Другий член: 0,84 x √(0,0291 + 0,0347) = 0,84 x 0,2526 = 0,213
- Чисельник: (0,495 + 0,213)² = 0,501; знаменник: 0,006² = 0,000036
- n ≈ 13 900 відвідувачів на варіант, разом близько 27 800
За 2000 відвідувачів на тиждень на цій сторінці тесту потрібно приблизно 14 тижнів. Це і є корисний результат: ще до створення чогось ви знаєте, що ця сторінка не дозволить за розумний час протестувати приріст на 20%, тож ви тестуєте сміливішу зміну, використовуєте сторінку з більшим трафіком або впроваджуєте зміну й моніторите. Відтворити це число можна за допомогою нашого калькулятора A/B-тестів або калькулятора розміру вибірки Евана Міллера.
A/B, A/B/n і мультиваріантне тестування
| A/B | A/B/n | Багатоваріантне (MVT) | |
|---|---|---|---|
| Що змінюється | Один контрольний проти одного варіанта | Один контроль проти кількох варіантів | Кілька елементів одночасно, усі комбінації |
| Потрібний трафік | Найнижча | Зростає з кожним варіантом | Найвища: трафік розподіляється між усіма комбінаціями |
| Відповіді | Чи B краще за A? | Яка з кількох версій найкраща? | Яка комбінація елементів працює і чи взаємодіють вони? |
| Підходить | Більшість B2B-сторінок | Заголовки чи пропозиції з реальним трафіком | Лише сторінки з великим трафіком |
Nielsen Norman Group підсумовує компроміс: мультиваріантні тести підходять для поступових удосконалень на сторінках із високим трафіком, тоді як A/B-тести можуть порівнювати кардинально різні дизайни (NN/g, «Multivariate vs. A/B Testing»).
Як B2B-команди використовують A/B-тестування
- Тестування довжини та формулювань форм демо й контактів.
- Порівняння ціннісних пропозицій і заголовків на лендингах із високим трафіком.
- Перевірка персоналізації: контент для сегмента проти загальної сторінки, з контрольною групою.
- Макет сторінки цін і подача тарифів.
- Теми листів і контент вирощування, де дозволяє обсяг.
Поширені запитання
Скільки має тривати A/B-тест?
Доки він не досягне розміру вибірки, розрахованого до запуску, і щонайменше один повний тиждень, а краще два, щоб були представлені всі дні тижня. Поділіть потрібну кількість відвідувачів на варіант на тижневий трафік на варіант, щоб оцінити тривалість. Якщо виходить кілька місяців, тест у такому вигляді нежиттєздатний.
Який мінімальний виявний ефект вважається хорошим?
Найменший приріст, на який варто зважати з огляду на вартість зміни. B2B-сторінкам із низьким трафіком зазвичай потрібен більший мінімальний виявний ефект, часто 20% відносних або більше, щоб тест завершився за розумний час. Менші ефекти можуть бути реальними, але потребують значно більше трафіку, бо розмір вибірки зростає приблизно обернено пропорційно квадрату ефекту.
Чи можна проводити A/B-тести за низького трафіку?
Так, але тестуйте більші зміни, використовуйте етап воронки з найбільшим трафіком і обирайте метрику, що трапляється часто, наприклад кліки на сторінку демо, а не закриті угоди. Якщо навіть це занадто повільно, вносьте зміни на основі досліджень і відстежуйте «до і після», розуміючи, що докази слабші.
Пов’язані матеріали
Плануйте тести за допомогою шаблону плану A/B-тесту, прочитайте детальніший розбір розміру вибірки для A/B-тесту і оберіть дизайн тесту за статтею A/B-тестування проти мультиваріантного тестування. Про ширший процес читайте в статті оптимізація коефіцієнта конверсії.