Різниця між A/B-тестуванням і багатоваріантним тестуванням полягає в тому, що саме порівнюється. A/B-тест порівнює дві версії сторінки. A/B/n-тест порівнює три чи більше повних версій. Багатоваріантний тест (MVT) змінює кілька елементів одночасно, як-от заголовок, головне зображення і CTA, і перевіряє всі комбінації (іноді це називають багатоваріантним A/B-тестуванням), щоб з’ясувати, які елементи і яка комбінація впливають на конверсії.
На B2B-сайтах вибір зазвичай робить за вас трафік. Кожен додатковий варіант чи комбінація ще більше ділить відвідувачів, а потрібна вибірка зростає швидше, ніж підказує інтуїція. Нижче — чотири типи тестів, які реально проводять B2B-команди (A/B, A/B/n, мультиваріантні та тести персоналізації для сегментів), скільки трафіку кожен коштує на одному розрахунковому прикладі, таблиця для ухвалення рішень і приклади тестів, що підходять для кожного типу.
Чотири типи тестів коротко
| Тип тесту | Що порівнює | На яке питання відповідає | Вартість трафіку |
|---|---|---|---|
| A/B | Контроль проти одного варіанта | Чи ця версія краща за ту, що в нас є? | Найнижча |
| A/B/n | Контрольний варіант проти 2+ повних варіантів | Який із цих різних підходів найкращий? | Зростає з кожною групою, плюс поправка на множинні порівняння |
| Багатоваріантне (MVT) | Усі комбінації кількох елементів | Які елементи важливі і чи взаємодіють вони? | Найвища, особливо для взаємодій |
| Тест, націлений на сегмент (персоналізація) | Персоналізований досвід проти контрольної групи в межах одного сегмента | Чи працює адаптація цієї сторінки під цей сегмент? | Залежить від трафіку сегмента та розміру контрольної групи |
Математика трафіку: A/B-тестування чи мультиваріантне тестування
Усі наведені нижче цифри розраховано за стандартною формулою розміру вибірки для двох пропорцій (об'єднана дисперсія) з 95% довіри, двостороннім тестом і 80% потужності в Node.js. Метод і повні таблиці — у нашій статті про розмір вибірки для A/B-тесту. Ви можете порахувати те саме для своєї сторінки в нашому калькуляторі розміру вибірки для A/B-тесту, який застосовує поправку Бонферроні для тестів A/B/n.
Приклад (ілюстративні цифри): сторінка демо конвертує на рівні 3%, і ви хочете виявити відносний приріст 20% (з 3,0% до 3,6%). Простому A/B-тесту потрібно 13 914 відвідувачів на варіант, або 27 828 загалом.
A/B/n: більше груп, суворіші пороги
Із трьома претендентами проти однієї контрольної групи ви робите три порівняння, і ймовірність хоча б одного хибного переможця зростає. Найпростіша поправка (Бонферроні) ділить альфу на кількість порівнянь, тож кожне порівняння перевіряється на рівні 0,05 / 3 = 0,0167. Це збільшує вибірку на варіант з 13 914 до 18 559, а загальну — з 27 828 до 74 236 на чотири варіанти, тобто приблизно в 2,7 раза більше трафіку, ніж для A/B-тесту.
Багатоваріантне тестування: комбінації множаться
Тепер протестуйте три елементи по дві версії кожен (заголовок A чи B, зображення A чи B, CTA A чи B). Повний факторний дизайн має 2 × 2 × 2 = 8 комірок. Якщо ви хочете порівняти кожну комбінацію з контрольною, як неявно роблять більшість звітів MVT, кожна комірка потребує повної вибірки: 8 × 13 914 = 111 312 відвідувачів без жодної поправки або 8 × 22 112 = 176 896 відвідувачів з поправкою Бонферроні на сім порівнянь.
Це найгірший сценарій. Факторний дизайн насправді ефективний для основних ефектів. Щоб оцінити ефект заголовка, ви порівнюєте чотири комірки із заголовком A з чотирма комірками із заголовком B, використовуючи весь трафік. Якщо елементи не взаємодіють, 27 828 відвідувачів розкажуть вам про всі три елементи одночасно. Фактично ви провели три A/B-тести паралельно. Корисно, але не через це більшість команд обирають MVT.
Зазвичай команди запускають багатоваріантне тестування, щоб знайти взаємодії («цей заголовок працює лише з тим зображенням») і єдину найкращу комбінацію. Взаємодії обходяться дорого. Широко цитована нотатка Ендрю Гельмана You need 16 times the sample size to estimate an interaction than to estimate a main effect пояснює чому: оцінка взаємодії має вдвічі більшу стандартну похибку, ніж основний ефект, і якщо взаємодія вдвічі менша за основний ефект (його вихідне припущення), для тієї самої потужності потрібна у 16 разів більша вибірка. У нашому прикладі це близько 445 000 відвідувачів.
Що це означає в місяцях
| Дизайн (базовий рівень 3%, MDE 20%) | Усього відвідувачів | Місяців за 5000/міс. | Місяців при 20 000/міс. |
|---|---|---|---|
| A/B | 27,828 | 5.6 | 1.4 |
| A/B/n з 4 варіантами (Бонферроні) | 74,236 | 14.8 | 3.7 |
| MVT 2×2×2, кожна комірка проти контролю (без поправки) | 111,312 | 22.3 | 5.6 |
| MVT 2×2×2, кожна комірка проти контролю (Бонферроні) | 176,896 | 35.4 | 8.8 |
| Взаємодія в MVT, половинний розмір (правило 16x) | 445,248 | 89.0 | 22.3 |
На сторінці з 20 000 відвідувачів на місяць MVT 2×2×2, що оцінює кожну комбінацію, з поправкою займає майже рік. При 5000 — роки. Наша думка: мультиваріантне тестування рідко практичне на B2B-сайтах, а твердження на кшталт «ми провели MVT, і перемогла комбінація 6» при кількох тисячах відвідувачів на місяць варто ретельно перевірити на розмір вибірки, перш ніж щось робити.
Що більшість команд роблять неправильно
Звична помилка — обирати тип тесту за амбіціями, а не за запитанням. Команди обирають MVT, бо мають багато ідей, а не тому, що їм треба знати, чи ідеї взаємодіють. Обирають A/B/n із п’ятьма варіантами, бо ніхто не зміг домовитися про один. Обидва рішення ділять обмежений трафік на шматки, надто тонкі, щоб щось прочитати.
Друга — тестувати елементи, коли справжнє питання стосується аудиторій. На B2B-сайті те, що конвертує, часто більше залежить від того, хто дивиться, ніж від того, який заголовок показано. Покупцю з виробництва й засновнику SaaS потрібні різні докази. Тестування заголовка A проти B для всіх усереднює ці аудиторії й може приховати варіант, що сильно виграє в одному сегменті й програє в іншому. Ось аргумент на користь тестів персоналізації, націлених на сегменти.
Таблиця рішень: який тест проводити
| Ситуація | Відвідувачів сторінки на місяць | Змінені елементи | Рекомендований тест |
|---|---|---|---|
| Одна чітка гіпотеза, велика зміна | Будь-який, включно з менш ніж 5000 | Одна концепція (може стосуватися кількох елементів) | A/B |
| Два-три справді різні підходи | 15,000+ | Концепції цілої сторінки | A/B/n максимум із 3 варіантами |
| Потрібно знати, чи взаємодіють елементи | 100,000+ | 2–3 елементи, по 2 версії кожного | Мультиваріантний (повний факторний) |
| Різні аудиторії, ймовірно, хочуть різного | Достатньо трафіку в межах сегмента | Контент, адаптований під сегмент | Тест, націлений на сегмент, vs контрольна група |
| Недостатньо трафіку для будь-чого з наведеного | Менше 2000 | Будь-який | Якісне дослідження, потім A/B-тест більшої зміни |
Порогові значення трафіку — орієнтовні для базового рівня 3%. Перш ніж ухвалювати рішення, розрахуйте власні за формулою розміру вибірки.
Приклади хороших тестів для кожного типу
A/B-тести
- Форма демо чи миттєве бронювання в календарі на сторінці демо.
- Головний банер, що робить акцент на функціях, проти банера, що робить акцент на результатах, на головній сторінці.
- Сторінка цін із тарифом «зв'язатися з відділом продажів» vs опубліковані ціни для всіх тарифів.
Поєднувати кілька елементів в одну концепцію в A/B-тесті — нормально. Ви дізнаєтеся, чи виграє концепція, а не який елемент це зробив, і зазвичай саме це рішення вам і потрібно ухвалити. Наш посібник з оптимізації конверсії B2B пояснює, як пріоритезувати такі ідеї.
A/B/n-тести
- Три ціннісні пропозиції на платному лендингу з високим трафіком: швидкість, економія, зниження ризику.
- Три пропозиції в CTA: демо, оцінка ROI, тур продуктом. Як тип пропозиції змінюється залежно від етапу, пояснює наш посібник про персоналізовані CTA на основі даних.
Обмежуйте A/B/n-тести трьома групами (контроль плюс дві), якщо трафік не надзвичайно високий, і робіть кожну групу суттєво відмінною, щоб ефекти були достатньо великими для розрізнення.
Мультиваріантні тести
- Заголовок (2 версії) × тип соціального доказу (логотипи чи цитата з кейсу) на головній сторінці з дуже високим трафіком, коли у вас є конкретна причина очікувати, що вони впливатимуть одне на одне.
Якщо ви не можете назвати очікувану взаємодію, MVT вам, імовірно, не потрібне.
Тести персоналізації, націлені на сегменти
- Галузевий банер головної сторінки для відвідувачів із компаній фінансових послуг проти стандартного банера.
- Корпоративні докази (безпека, масштаб) на сторінці цін для компаній із понад 1000 працівників порівняно зі стандартною сторінкою.
- Привітання цільового акаунта й кейс для ABM-акаунтів проти загальної сторінки.
Як тестувати персоналізацію відносно контрольної групи
Тест персоналізації — це A/B-тест, що проводиться лише всередині сегмента. Контроль — контрольна група цього сегмента, яка бачить сторінку за замовчуванням. Без контрольної групи неможливо відокремити ефект персоналізації від того, що сегмент може просто конвертуватися інакше.
- Точно визначте сегмент, наприклад «відвідувачі, ідентифіковані як компанії з фінансових послуг із 200+ працівниками». У тест потрапляють лише ці відвідувачі.
- Виміряйте трафік сегмента на тестовані сторінки за місяць. Саме він, а не загальний трафік сайту, визначає тривалість.
- Оберіть розмір контрольної групи. Розподіл 50/50 дає результат найшвидше. Менші контрольні групи вберігають більше відвідувачів від стандартного сценарію, але коштують часу.
- Оберіть конверсію, яку сегмент справді виконує, вимірювану в межах візиту чи візитів акаунта, а пайплайн залиште як захисну метрику.
- Зафіксуйте розмір вибірки й тривалість до запуску та читайте результат лише для цього сегмента.
Приклад (умовні числа): сегмент приносить 3000 відвідувачів на місяць, конверсія 3%, і ви хочете виявити відносний приріст 30%. Розраховано за версією формули з нерівним розподілом (unpooled) із тими самими 95% довіри та 80% потужності:
| Частка контрольної групи | Загальна потрібна кількість відвідувачів | Місяців при 3000/міс. |
|---|---|---|
| 50% | 12,903 | 4.3 |
| 20% | 18,639 | 6.2 |
| 10% | 32,234 | 10.7 |
Контрольна група 10% потребує приблизно у 2,5 раза більше часу для отримання результату, ніж розподіл 50/50. Наша рекомендація: перший тест для кожного сегмента проводьте з розподілом 50/50, щоб отримати чітку відповідь, а після розгортання залиште невелику постійну контрольну групу (10–20%), щоб відстежувати, чи зберігається ефект з часом. Дорожня карта тестування персоналізації показує, в якій послідовності проводити ці тести для різних сегментів. Почніть із сегмента з найбільшим трафіком і найочевиднішим розривом у меседжах, бо там результат з’явиться найшвидше. Повністю відмовтеся від тестів для сегментів, що дають лише кілька сотень відвідувачів на місяць: за такого обсягу навіть розподіл 50/50 не дасть зрозумілої відповіді протягом року.
Для таких тестів з контрольними групами потрібно ідентифікувати сегмент до рендерингу сторінки й розділяти лише цей сегмент. A/B-тестування в Markettailor робить це для кожного сегмента, використовуючи сегментацію на рівні компаній, щоб визначати, хто потрапляє в кожен тест, тож тест для фінтеху бачать лише відвідувачі з фінтеху.
Поширені запитання
Чим A/B-тестування відрізняється від мультиваріантного тестування?
A/B-тестування порівнює дві повні версії сторінки. Мультиваріантне тестування змінює кілька елементів одночасно й тестує всі комбінації, тож може показати, які елементи важливі і чи взаємодіють вони, але потребує значно більше трафіку.
Що таке A/B/n-тестування?
A/B/n-тестування одночасно порівнює контрольну версію з двома чи більше повноцінними варіантами. Воно корисне, коли у вас є кілька справді різних підходів, але кожен додатковий варіант потребує власної вибірки та суворішого порогу значущості.
Скільки трафіку потрібно для мультиваріантного тестування?
Для тесту 2×2×2 на сторінці з конверсією 3%, щоб оцінити кожну з 8 комбінацій проти контролю на предмет приросту 20%, потрібно приблизно від 111 000 до 177 000 відвідувачів залежно від поправки на множинні порівняння. Виявлення взаємодій може потребувати в кілька разів більше.
Чи варте багатоваріантне тестування зусиль для B2B-сайтів?
Рідко. Більшості B2B-сторінок бракує трафіку, щоб за кілька місяців оцінити комбінації чи взаємодії. A/B-тести масштабніших концепцій і тести персоналізації за сегментами зазвичай дають чіткіші відповіді швидше.
Чи можна поєднувати A/B- і мультиваріантне тестування?
Так. Поширена послідовність — спершу A/B-тестувати концепції, а потім, лише на сторінках з дуже високим трафіком, провести невеликий факторний тест двох елементів усередині концепції-переможниці, якщо треба перевірити конкретну взаємодію.