Як працює калькулятор
Вкладка розміру вибірки використовує стандартну формулу для порівняння двох коефіцієнтів конверсії за допомогою двобічного z-тесту для двох пропорцій:
n на варіант = [ zα/2 × √(2p̄(1 − p̄)) + zβ × √(p1(1 − p1) + p2(1 − p2)) ]² / (p2 − p1)²
- p1 — ваш базовий коефіцієнт конверсії для конкретної сторінки й цілі, які ви тестуєте.
- p2 — базовий рівень, помножений на (1 + мінімальний виявний ефект).
- p̄ — середнє значення p1 і p2.
- zα/2 дорівнює 1,96 при 95% довіри, а zβ — 0,84 при потужності 80%.
Якщо варіантів більше одного, калькулятор ділить альфу на кількість порівнянь із контрольним варіантом (поправка Бонферроні), що утримує загальну частку хибнопозитивних результатів на обраному рівні довіри. Наш посібник із розміру вибірки для A/B-тестів крок за кроком пояснює формулу з таблицями для типових B2B-коефіцієнтів конверсії.
Розібраний приклад
Ілюстративні цифри: сторінка запиту демо конвертує на рівні 3% і отримує 2000 відвідувачів на тиждень. Ви хочете дізнатися, чи збільшує новий заголовок конверсію щонайменше на 20%, тож p2 становить 3,6%. Калькулятор дає приблизно 13 900 відвідувачів на варіант, 27 800 загалом, тобто 14 тижнів трафіку. Це чесна відповідь для багатьох B2B-сторінок, і саме тому інструмент позначає будь-який тест, довший за квартал.
Три способи скоротити тривалість: тестувати сміливішу зміну й підняти мінімальний виявний ефект до 30% чи більше, вимірювати частішу подію, як-от кліки на сторінку демо, або запустити тест на сторінці з більшим трафіком. Якщо ви обираєте між A/B-тестом і тестом кількох елементів одночасно, спершу прочитайте A/B-тестування чи багатоваріантне тестування, бо багатоваріантним тестам потрібно значно більше трафіку.
Як читати результат значущості
Вкладка значущості порівнює два завершені варіанти. Припустімо, контроль мав 5000 відвідувачів і 150 конверсій (3,0%), а варіант — 5000 відвідувачів і 190 конверсій (3,8%). Відносний приріст становить 26,7%, p-значення — близько 0,027, а 95-відсотковий довірчий інтервал різниці — приблизно від 0,1 до 1,5 процентного пункту. Результат значущий, але інтервал широкий: справжній приріст може бути малим. Сприймайте виміряний приріст як оцінку, схильну до завищення, особливо якщо тест зупинили достроково.
Що тестувати насамперед на B2B-сайті з невеликим трафіком, читайте в розділі про тестування нашого посібника з оптимізації конверсії. Якщо ви тестуєте персоналізовані досвіди, а не окремі зміни сторінки, A/B-тестування в Markettailor запускає контрольні групи для кожного сегмента відвідувачів.
Поширені запитання
Скільки відвідувачів потрібно для A/B-тесту?
Це залежить від вашого базового коефіцієнта конверсії та найменшого приросту, який ви хочете виявити. За базового рівня 3% для виявлення відносного приросту 20% із довірчим рівнем 95% і потужністю 80% потрібно близько 13 900 відвідувачів на варіант. Якщо зменшити шуканий приріст удвічі, вибірка зросте приблизно вчетверо.
Як розраховується статистична значущість A/B-тесту?
Цей калькулятор використовує двосторонній z-тест для двох пропорцій. Він об’єднує обидві групи, щоб оцінити шум, очікуваний за відсутності реальної різниці, ділить спостережувану різницю коефіцієнтів конверсії на цю стандартну похибку й перетворює отриманий z-показник на p-значення. p-значення нижче 0,05 є значущим на рівні довіри 95%.
Скільки має тривати A/B-тест?
Доки він не досягне розміру вибірки, розрахованого до запуску, і щонайменше один повний тиждень, щоб врахувати поведінку і в будні, і у вихідні. Наведена вище оцінка тривалості ділить загальну вибірку на тижневий трафік на тестовану сторінку.
Чи можна зупинити A/B-тест, щойно він став значущим?
Ні. Якщо постійно перевіряти результати й зупинятися на першому значущому показнику, частка хибнопозитивних результатів зростає значно вище 5%. Визначте розмір вибірки заздалегідь і оцінюйте результат, коли його досягнуто, або використовуйте метод, розроблений для безперервного моніторингу, як-от послідовний тест.
Що робити, якщо мій B2B-сайт не має достатньо трафіку для A/B-тестування?
Тестуйте більші зміни, обирайте конверсійну подію, що трапляється частіше (наприклад, кліки на сторінку демо замість заброньованих демо), тестуйте на шаблоні з найбільшим трафіком або погодьтеся на довший тест. Якщо тест триватиме понад квартал, використовуйте якісні дослідження та порівняння з контрольною групою.