Шаблон плану експерименту змушує ухвалити рішення, які пропускає більшість A/B-тестів: що саме, на вашу думку, станеться, яка одна метрика визначає переможця, скільки потрібно відвідувачів і коли можна зупинитися. Записати це до запуску — найдешевший захист від того, щоб прийняти шум за результат. Шаблон нижче займає одну сторінку на тест. Скопіюйте його у свій інструмент для документів або завантажте шаблон у форматі CSV для беклогу тестів у таблиці.
Він розроблений для рівнів B2B-трафіку, де один тест може тривати тижнями. Якщо ви ще не планували тестів, спершу прочитайте наш посібник з оптимізації конверсії про те, що варто тестувати за малого трафіку.
Шаблон плану A/B-тесту
Заповніть кожен рядок до запуску тесту. Порожній рядок — це рішення, яке ви ухвалите вже після того, як побачите дані, а саме цьому план і має запобігти.
| Розділ | Поле | Що писати |
|---|---|---|
| 1. Контекст | Назва та ID тесту | Коротка назва, за якою легко знайти, наприклад «DEMO-07 форма з п'яти полів» |
| Відповідальний | Одна людина, яка запускає тест, стежить за ним і звітує про нього | |
| Докази, на яких це ґрунтується | Дані, запис або цитата клієнта, через які ви обрали цей тест | |
| 2. Гіпотеза | Зміна | Чим саме відрізняються контрольна версія та варіант |
| Очікуваний ефект | Яка метрика змінюється і в якому напрямку | |
| Причина | Чому ви вважаєте, що це станеться, — одним реченням про поведінку покупця | |
| 3. Метрики | Основна метрика | Одна метрика, що визначає результат, з точним визначенням події |
| Захисні метрики | Метрики, які не повинні погіршитися (якість лідів, показник відмов, швидкість сторінки) | |
| Другорядні метрики | Цікаві, але не вирішальні (глибина прокручування, кліки на ціни) | |
| 4. Аудиторія | Сторінка(-и) | URL, включені в тест |
| Хто входить | Усі відвідувачі або сегмент, як-от платний трафік чи діапазон розміру компанії | |
| Хто виключений | Наявні клієнти, внутрішній трафік, боти | |
| Розподіл трафіку | Зазвичай 50/50 для двох варіантів | |
| 5. Статистика | Базовий коефіцієнт конверсії | Останні 4–8 тижнів для цієї сторінки й цієї метрики |
| Мінімальний виявний ефект | Найменший відносний приріст, на який варто реагувати | |
| Достовірність і потужність | Зазвичай 95% і 80% | |
| Розмір вибірки на варіант | З калькулятора A/B-тестів | |
| Запланована тривалість | Розмір вибірки, поділений на тижневий трафік, з округленням до цілих тижнів | |
| 6. Правила | Правило зупинки | Коли ви оціните результат (після набору вибірки, ніколи раніше) |
| Правило закриття | Що змусить вас зупинити тест достроково (зламаний варіант, падіння захисної метрики) | |
| Правило рішення | Що ви впроваджуєте, якщо результат — перемога, поразка або невизначеність | |
| 7. Результати | Дати проведення | Дата початку та завершення |
| Результат для кожної гілки | Відвідувачі, конверсії, коефіцієнт конверсії | |
| Значущість та інтервал | p-значення та довірчий інтервал різниці | |
| Рішення й навчання | Що ви запустили і що це розповіло вам про покупців |
Як заповнити
- Починайте з доказів, а не ідей. Розділ 1 питає, навіщо цей тест. Добрі джерела: етап воронки з незвичним падінням, записи сесій, нотатки з дзвінків продажів, знахідка з чекліста CRO-аудиту. «CEO хоче новий банер» — це не доказ.
- Сформулюйте гіпотезу, яку можна спростувати. «Якщо скоротити форму демо з дев'яти полів до п'яти, кількість надсилань на відвідувача зросте, бо покупці кидають форму, коли в них запитують бюджет ще до того, як вони побачили продукт». Гіпотеза без причини нічого не дає, якщо вона не підтвердилася.
- Оберіть одну основну метрику. Якщо обрати три, одна з них, найімовірніше, зміниться випадково, і вам захочеться назвати це перемогою.
- Розрахуйте розмір тесту до того, як його створювати. Введіть у калькулятор базовий рівень і мінімальний виявний ефект. Якщо тест потребує більше кварталу, змініть план: тестуйте більшу зміну, використовуйте частішу метрику або оберіть сторінку з більшим трафіком. Наш посібник про розмір вибірки для A/B-тесту пояснює компроміси.
- Узгодьте правило ухвалення рішення заздалегідь. Визначте, що для вас означає «невизначений результат». Багато B2B-команд за рівних результатів впроваджують простіший варіант — це прийнятне правило, якщо його записано до запуску.
Ілюстративний заповнений план
Ілюстративні цифри для вигаданої B2B-компанії, що продає ПЗ.
| Поле | Вхід |
|---|---|
| Назва тесту | DEMO-07 форма демо з п'ятьма полями |
| Докази | Аналітика форм показує найбільше відмов на полі «Бюджет»; відділ продажу підтверджує, що не використовує його під час першого дзвінка |
| Гіпотеза | Скорочення форми з дев’яти до п’яти полів збільшує кількість запитів демо на відвідувача, бо покупці не діляться бюджетом, доки не побачать продукт |
| Основна метрика | Надсилання форми демо, поділені на унікальних відвідувачів /demo |
| Обмежувальні метрики | Частка заявок, прийнятих продажами як кваліфіковані, не повинна знизитися більш ніж на чверть |
| Аудиторія | Усі відвідувачі /demo, крім авторизованих клієнтів і внутрішніх IP; розподіл 50/50 |
| Базовий рівень | 8% відвідувачів /demo надсилають заявку |
| Мінімальний виявний ефект | 20% відносних (з 8,0% до 9,6%) |
| Розмір вибірки | Близько 4900 відвідувачів на варіант за рівня довіри 95% і потужності 80% |
| Тривалість | /demo отримує близько 1500 відвідувачів на тиждень, тож близько 9800 відвідувачів загалом — це 7 тижнів |
| Правило зупинки | Підбийте результат через 7 повних тижнів або коли обидві гілки перевищать 4900 відвідувачів, залежно від того, що настане пізніше |
| Правило закриття | Зупиніть, якщо форма у варіанті не надсилається або частка кваліфікованих падає вдвічі за перші два тижні |
| Правило рішення | Перемога: впроваджуємо п’ять полів. Поразка: залишаємо дев’ять. Непереконливо: впроваджуємо п’ять полів, бо це простіше, а прогалину заповнює збагачення |
Беклог тестів
CSV-файл також містить аркуш беклогу, щоб ви могли ранжувати тести до написання повних планів. Один рядок на ідею:
| ID | Сторінка | Ідея | Докази | Вплив (1–3) | Впевненість (1–3) | Легкість (1–3) | Оцінка | Потрібно тижнів | Статус |
|---|---|---|---|---|---|---|---|---|---|
| DEMO-07 | /demo | Форма з п’ятьма полями | Відсів на полях | 3 | 2 | 3 | 8 | 7 | Заплановано |
| HOME-03 | / | Галузевий головний блок | Відвідувачі з ICP частіше йдуть одразу | 3 | 2 | 2 | 7 | 10 | Ідея |
Ідеї з високою оцінкою, яким потрібно понад 12 тижнів, краще підходять для порівняння з контрольною групою чи правила персоналізації, ніж для класичного A/B-тесту. Коли доречний кожен метод, див. A/B-тестування чи мультиваріантне тестування.
Поширені запитання
Що має містити план A/B-тесту?
Гіпотеза з обґрунтуванням, одна основна метрика з точним визначенням, захисні метрики, аудиторія та розподіл, базовий рівень, мінімальний виявний ефект, розмір вибірки, тривалість і правила зупинки, закриття та ухвалення рішення. Додайте розділ результатів, щоб план став записом тесту.
Чим план експерименту відрізняється від брифу тесту?
Ці терміни використовують як синоніми. Деякі команди називають «брифом» запит на дизайн і текст для дизайнера, а «планом» — статистичне налаштування. Цей шаблон охоплює обидва, а креативну зміну описано в розділі гіпотези.
Скільки має тривати B2B A/B-тест?
Доки він не досягне розрахованого розміру вибірки, і щонайменше один повний тиждень. Багатьом B2B-сторінкам потрібно від чотирьох до дванадцяти тижнів. Якщо розрахунок показує понад квартал, змініть тест, а не зупиняйте його достроково.
Чи потрібно писати план для кожного невеликого тесту?
Так, хоча для тесту тексту кнопки план може вміститися в п'ять рядків. Правило зупинки та основна метрика — дві частини, які ніколи не варто пропускати, бо саме вони не дають вам оголосити випадкове коливання перемогою.