Формула розміру вибірки для A/B-тестування показує, скільки відвідувачів потрібно кожному варіанту, щоб різниця в коефіцієнті конверсії щось означала. Для стандартного двостороннього тесту з рівнем довіри 95% і потужністю 80% потрібно приблизно n = (1,96 + 0,84)² × (p1(1−p1) + p2(1−p2)) / (p2 − p1)² відвідувачів на варіант, де p1 — ваш базовий коефіцієнт, а p2 — коефіцієнт, який ви сподіваєтеся виявити.
Підставте в цю формулу реальні B2B-цифри — і результат буде неприємним. Сторінці з конверсією 3% потрібно близько 14 000 відвідувачів на варіант, щоб надійно виявити відносний приріст 20%. Багато B2B-сторінок не мають стільки відвідувачів за квартал. Далі: формула за кожним параметром, розраховані таблиці для різних базових показників, скільки триває тест за певного рівня трафіку і що робити, коли відповідь — «вісім місяців».
Наша позиція: більшості B2B A/B-тестів бракує потужності
Спершу думка, яку підтверджує математика. Ми вважаємо, що більшість B2B A/B-тестів зупиняють задовго до того, як набереться достатньо даних, і чимало «переможців», яких вони дають, — це шум. Схема виглядає так: тест на три тижні, варіант попереду на 25%, зелена позначка, впроваджена зміна, а через пів року — жодного помітного приросту в пайплайні.
Тести з недостатньою потужністю пропускають реальні ефекти, що марнує слот для тесту. Гірше того, коли такий тест усе ж перетинає межу значущості, виміряний приріст зазвичай завищений, бо поріг долають лише щасливі вибірки. Статистики називають це помилкою величини (type M). Команда впроваджує зміну, яка може нічого не давати, і ще й записує завищене число у звітність із CRO. Розрахувати розмір вибірки до запуску — найдешевший захист.
Формула розміру вибірки для A/B-тесту
Стандартна формула для порівняння двох коефіцієнтів конверсії (z-тест для двох пропорцій):
n на варіант = [ zα/2 × √(2 × p̄ × (1 − p̄)) + zβ × √(p1(1 − p1) + p2(1 − p2)) ]² / (p2 − p1)²
Кожен вхідний параметр має просте значення:
- p1 (базовий коефіцієнт конверсії): поточний коефіцієнт конверсії сторінки та цілі, які ви тестуєте. Використовуйте показник для конкретної події конверсії та конкретної сторінки за останні 4–8 тижнів, а не середній по сайту.
- p2 (цільовий показник): базовий рівень, помножений на (1 + MDE). За базового рівня 3% і відносного MDE 20% p2 = 3,6%.
- MDE (мінімальний виявний ефект): найменший відносний приріст, який вам важливо виявити. Це бізнесове рішення, а не статистичне. Менший MDE потребує значно більше трафіку, бо різниця (p2 − p1) у знаменнику підноситься до квадрата. Зменште MDE удвічі — і вибірка зросте приблизно вчетверо.
- p̄ (об’єднаний коефіцієнт): середнє значення p1 і p2. Описує шум за припущення, що реальної різниці немає.
- zα/2 = 1,96: відповідає 5% хибнопозитивних результатів (альфа 0,05), розподілених на обидва хвости, бо варіант може бути кращим або гіршим.
- zβ = 0,8416: відповідає потужності 80%, тобто якщо справжній приріст дорівнює вашому MDE, тест виявить його у 80% випадків. В інших 20% ви пропустите реального переможця.
Багато калькуляторів використовують спрощену необ’єднану версію, наведену в першому абзаці. За B2B-коефіцієнтів конверсії вони відрізняються лише на кількох відвідувачів. Наш калькулятор A/B-тестів використовує об’єднану формулу вище й також оцінює тривалість тесту.
Розібраний приклад, крок за кроком
Приклад (ілюстративні цифри): сторінка запиту на демо конвертує на рівні 3%. Ви хочете виявити відносний приріст 20%.
- Задайте показники: p1 = 0,030, p2 = 0,030 × 1,2 = 0,036. Абсолютна різниця — 0,006.
- Об'єднаний показник: p̄ = (0,030 + 0,036) / 2 = 0,033.
- Перший доданок: √(2 × 0,033 × 0,967) = √0,06382 = 0,2526. Помножте на 1,96: 0,4951.
- Другий доданок: p1(1−p1) = 0,0291 і p2(1−p2) = 0,0347. √(0,0638) = 0,2526. Помножте на 0,8416: 0,2126.
- Додайте й піднесіть до квадрата: (0,4951 + 0,2126)² = 0,7077² = 0,5009.
- Поділіть на квадрат різниці: 0,5009 / 0,006² = 0,5009 / 0,000036 = 13 914 відвідувачів на варіант.
Отже, тесту потрібно загалом близько 27 800 відвідувачів і приблизно 417 конверсій лише в контрольній групі (13 914 × 3%), перш ніж читати результат. Для перехресної перевірки: спрощена формула без об’єднання дає 13 911 на варіант, а апроксимація через арксинус (h Коена) — близько 13 890. Три методи збігаються з точністю до 0,2%.
Таблиця розмірів вибірки для коефіцієнтів конверсії в B2B
У таблиці нижче наведену вище формулу з об’єднаною дисперсією (alpha 0,05 двостороння, потужність 0,8) застосовано до базових рівнів від 1% (наприклад, частка запитів демо серед усіх відвідувачів популярної сторінки) до 10% (наприклад, мікроконверсія, як-от клік по CTA). Використовуйте власний базовий рівень; ці рядки — лише орієнтири. Значення — кількість відвідувачів на варіант, обчислена в Node.js і округлена вгору.
| Базовий коефіцієнт конверсії | Відносний MDE 10% | Відносний MDE 20% | Відносний MDE 30% | Відносний MDE 50% |
|---|---|---|---|---|
| 1% | 163,095 | 42,693 | 19,827 | 7,750 |
| 2% | 80,682 | 21,109 | 9,798 | 3,826 |
| 3% | 53,211 | 13,914 | 6,455 | 2,518 |
| 5% | 31,234 | 8,158 | 3,780 | 1,471 |
| 10% | 14,751 | 3,841 | 1,774 | 686 |
Перехід від MDE 10% до MDE 50% зменшує потрібну вибірку приблизно в 20 разів. Подвоєння базового показника зменшує її приблизно вдвічі. Швидко змінити трафік ви не можете, але можете вибрати розмір зміни, яку тестуєте, і конверсію, яку вимірюєте, — і на невеликому сайті саме ці два важелі мають значення.
Скільки триватиме тест?
Тривалість — це загальна потрібна кількість відвідувачів (для обох варіантів), поділена на кількість відвідувачів на місяць, які справді доходять до тестованої сторінки. Таблиця показує місяці для розподілу 50/50 за трьох рівнів трафіку.
| Відвідувачів сторінки на місяць | Базовий рівень | MDE 10% | MDE 20% | MDE 30% | MDE 50% |
|---|---|---|---|---|---|
| 2,000 | 2% | 80.7 | 21.1 | 9.8 | 3.8 |
| 2,000 | 3% | 53.2 | 13.9 | 6.5 | 2.5 |
| 2,000 | 5% | 31.2 | 8.2 | 3.8 | 1.5 |
| 5,000 | 2% | 32.3 | 8.4 | 3.9 | 1.5 |
| 5,000 | 3% | 21.3 | 5.6 | 2.6 | 1.0 |
| 5,000 | 5% | 12.5 | 3.3 | 1.5 | 0.6 |
| 20,000 | 2% | 8.1 | 2.1 | 1.0 | 0.4 |
| 20,000 | 3% | 5.3 | 1.4 | 0.6 | 0.3 |
| 20,000 | 5% | 3.1 | 0.8 | 0.4 | 0.1 |
Що б не показувала таблиця, проводьте кожен тест щонайменше два повні тижні, щоб поведінка в будні й вихідні та будь-які сплески від кампаній були представлені в обох групах. А все, що перевищує три місяці, сприймайте як тест, який, мабуть, не варто проводити в поточному вигляді: контент сторінок, кампанії та структура трафіку за цей час змінюються, і результат описуватиме сайт, якого вже не існує.
За 5000 відвідувачів на місяць і базового коефіцієнта 3% зростання на 50% можна виявити приблизно за місяць, а зростання на 10% — майже за два роки. Ніхто не тримає сторінку незмінною два роки, тож другий тест зупинять завчасно й інтерпретують так, ніби він щось означає.
Що більшість команд роблять неправильно
- Використання загального трафіку сайту в оцінці тривалості. Враховуються лише відвідувачі, які доходять до тестованого елемента. Тест сторінки цін на сайті з 20 000 відвідувачів може отримувати лише 2000 відповідних відвідувачів на місяць.
- Вибір MDE після тесту. Якщо ви встановили MDE на рівні 30% до запуску, а тест показує 12%, у вас немає переможця з 12%. У вас тест без висновку.
- Підглядання й зупинка тесту на першій зеленій позначці. Аналіз Евана Міллера How Not To Run an A/B Test показує, що повторна перевірка значущості завжди збільшує частку хибнопозитивних результатів. У його прикладі (базовий рівень 50%, зміна, яка нічого не дає, зупинка, щойно результат досягне 5% значущості, або після 150 спостережень) частка хибнопозитивних результатів становить 26,1% замість номінальних 5%.
Коли розрахунок показує місяці: сім варіантів
1. Тестуйте більші зміни
Найдешевший спосіб зменшити розмір вибірки — чесно підвищити MDE, тобто тестувати зміни, достатньо великі, щоб правдоподібно дати такий ефект: нова ціннісна пропозиція, інша пропозиція (миттєве бронювання замість контактної форми), сторінка під одну галузь замість загальної. Наш посібник з оптимізації конверсії для B2B пояснює, як ранжувати ідеї тестів за очікуваним розміром ефекту.
2. Тестуйте на сторінках із більшим трафіком
Головна сторінка, найпопулярніші пости блогу та лендинги з великим обсягом дають більше відвідувачів на місяць (див. наші нотатки про оптимізацію B2B-лендингів щодо того, які сторінки зазвичай отримують найбільше трафіку етапу рішення). Тест на шаблоні, спільному для багатьох сторінок (усі сторінки рішень, усі пости блогу), об’єднує їхній трафік в один експеримент.
3. Обережно використовуйте мікроконверсії
Мікроконверсії, як-от кліки на CTA чи початок заповнення форми, мають вищі базові рівні, тож застосовується рядок таблиці для 10%, а не для 2%. Підступ: варіант може збільшити кліки й зменшити кількість кваліфікованих демо. Використовуйте мікроконверсію як метрику для рішення, лише коли маєте докази, що вона рухається разом із макроціллю, і завжди звітуйте поруч про макроконверсію як про запобіжну метрику.
4. Спершу об’єднуйте сегменти, потім розділяйте
Окремі тести для кожного сегмента ділять ваш трафік. Проводьте один тест для всіх сегментів, а результати на рівні сегментів сприймайте лише як орієнтовні. Якщо вам потрібна відповідь саме для сегмента, тест має бути розрахований лише на трафік цього сегмента. 90-денна дорожня карта тестування персоналізації показує, як вибудувати послідовність тестів за сегментами, щоб кожен отримав достатньо трафіку.
5. Використовуйте послідовне тестування
Послідовні дизайни (групові послідовні тести із заздалегідь запланованими проміжними перевірками або методи «завжди валідних» результатів, вбудовані в деякі інструменти тестування) дають змогу перевіряти результати під час тесту й зупиняти його раніше, коли ефект великий, не роздуваючи кількість хибнопозитивних результатів. Ціна — дещо більша максимальна вибірка, якщо тест іде до кінця. Це легітимна версія підглядання. Якщо тест триватиме місяці, спершу витратьте бюджет на діагностичні CRO-інструменти, як-от записи сесій та аналітику форм.
6. Розгляньте байєсівський підхід із чіткими очікуваннями
Баєсівське A/B-тестування показує ймовірність того, що B кращий за A, і очікувані втрати, якщо ви оберете не той варіант. З цим легше працювати, ніж із p-значенням, і це дає змогу ухвалювати явні рішення на кшталт «запускаємо, якщо ймовірність бути кращим вища за 90%, а очікувані втрати менші за 0,1 процентного пункту». Для змін, які можна відкотити, прийняти такий ризик часто раціонально.
Чого байєсівські методи не роблять, так це не створюють інформацію. За слабких апріорних розподілів даних, потрібних для впевненості щодо приросту 20%, приблизно стільки ж, скільки в частотній таблиці. «Ймовірність перемогти» 90% на крихітній вибірці все одно ненадійна, а щоденна перевірка з правилом зупинки на практиці все одно підвищує частку помилок. Байєсівське тестування змінює те, як ви виражаєте невизначеність і ухвалюєте рішення. Воно не зменшує невизначеність.
7. Не підглядайте або плануйте підглядання
Зафіксуйте розмір вибірки до запуску, запишіть його в бриф тесту й не підбивайте підсумків, доки його не досягнете. Якщо зацікавленим сторонам потрібні проміжні оновлення, з самого початку використовуйте послідовний дизайн, а не довільні перевірки. Наш шаблон плану експерименту має поле для кожного з цих рішень.
Чекліст перед запуском
- Візьміть базовий коефіцієнт і кількість відповідних відвідувачів на місяць для конкретної сторінки й конверсії (за останні 4–8 тижнів).
- Обирайте MDE залежно від масштабу зміни й запишіть його.
- Обчисліть n на варіант за формулою чи таблицею вище, а потім тривалість.
- Якщо тривалість перевищує приблизно три місяці, переробіть тест (більша зміна, сторінка з більшим трафіком або метрика з вищим базовим рівнем разом з обмежувальною метрикою).
- Встановіть правило зупинки: фіксована вибірка або послідовний план із заздалегідь запланованими перевірками.
Для B2B-команд найбільші ефекти зазвичай дає показ різним відвідувачам різного контенту, а не шліфування однієї сторінки для всіх, бо повідомлення, написане для одного сегмента, — більша зміна, ніж новий колір кнопки. Якщо ви обираєте між простим спліт-тестом і тестом із кількома варіантами чи факторами, прочитайте наше порівняння A/B-тестування та багатоваріантного тестування, де та сама математика розміру вибірки застосовується до дизайнів A/B/n і багатоваріантних.
Коли будете готові тестувати досвіди для окремих сегментів, A/B-тестування персоналізованих сторінок в Markettailor дає змогу порівнювати кожен сегмент із контрольною групою й відстежувати результат за сегментами — тож запланований розмір вибірки буде саме тим, який ви отримаєте.
Поширені запитання
Яка формула розміру вибірки для A/B-тесту?
Для двох показників конверсії n на варіант = [1,96 × √(2p̄(1−p̄)) + 0,8416 × √(p1(1−p1) + p2(1−p2))]² / (p2 − p1)², де p1 — базовий рівень, p2 — цільовий показник, а p̄ — їхнє середнє. Це передбачає 95% довіри (двосторонній тест) і 80% потужності.
Скільки відвідувачів потрібно для A/B-тесту за коефіцієнта конверсії 2%?
Близько 21 100 відвідувачів на варіант, щоб виявити відносний приріст 20%, близько 9800 — для приросту 30% і близько 3800 — для приросту 50% за рівня довіри 95% і потужності 80%. Подвойте ці числа, щоб отримати загальний трафік тесту.
Чи потрібна для байєсівського A/B-тестування менша вибірка?
Не суттєво, якщо тільки у вас немає сильного обґрунтованого апріорного припущення. Байєсівське тестування дає інтуїтивніші результати (ймовірність перемогти контроль, очікувані втрати) і підтримує рішення на основі ризику, але обсяг даних для впевненості щодо певного приросту подібний до частотного розрахунку.
Який мінімальний виявний ефект використовувати для B2B-сайту?
Обирайте MDE, виходячи з трафіку, а не з бажаного. Порахуйте, що можна виявити за шість-вісім тижнів за трафіку вашої сторінки, і тестуйте лише зміни, достатньо великі, щоб правдоподібно дати такий приріст. У таблиці тривалості вище сторінка з 5000 відвідувачів на місяць і базовою конверсією 3% за три місяці може зафіксувати лише прирости приблизно від 30%.
Чи можна зупинити A/B-тест достроково, якщо результат уже значущий?
Не в стандартному тесті з фіксованою вибіркою, бо повторні перевірки збільшують кількість хибнопозитивних результатів. Якщо вам потрібна можливість зупинитися раніше, використовуйте послідовний дизайн тестування з проміжними аналізами, запланованими до запуску.