Szablon planu eksperymentu wymusza decyzje, które większość testów A/B pomija: czego dokładnie się spodziewasz, który jeden wskaźnik rozstrzyga o zwycięzcy, ilu odwiedzających potrzebujesz i kiedy wolno Ci zakończyć test. Zapisanie tego przed startem to najtańsza ochrona przed wzięciem szumu za wynik. Poniższy szablon to jedna strona na test. Skopiuj go do swojego narzędzia do dokumentacji albo pobierz szablon jako CSV, by prowadzić backlog testów w arkuszu.
Jest zaprojektowany z myślą o poziomach ruchu w B2B, gdzie pojedynczy test może trwać tygodniami. Jeśli wcześniej nie planowałeś testu, najpierw przeczytaj nasz przewodnik po optymalizacji współczynnika konwersji, by dowiedzieć się, co warto testować przy małym ruchu.
Szablon planu testu A/B
Wypełnij każdy wiersz przed uruchomieniem testu. Pusty wiersz to decyzja, którą podejmiesz po zobaczeniu danych – a właśnie temu plan ma zapobiegać.
| Sekcja | Pole | Co napisać |
|---|---|---|
| 1. Kontekst | Nazwa i ID testu | Krótka nazwa łatwa do wyszukania, np. „DEMO-07 formularz z pięcioma polami” |
| Właściciel | Jedna osoba, która uruchamia test, monitoruje go i raportuje | |
| Dowody na poparcie | Dane, nagranie lub wypowiedź klienta, przez które wybrałeś ten test | |
| 2. Hipoteza | Zmiana | Czym dokładnie różnią się wersja kontrolna i wariant |
| Oczekiwany efekt | Który wskaźnik się zmienia i w którą stronę | |
| Powód | Dlaczego uważasz, że tak się stanie – jedno zdanie o zachowaniu kupujących | |
| 3. Wskaźniki | Metryka główna | Jeden wskaźnik decydujący o wyniku, z dokładną definicją zdarzenia |
| Wskaźniki ochronne | Wskaźniki, które nie mogą się pogorszyć (jakość leadów, współczynnik odrzuceń, szybkość strony) | |
| Metryki dodatkowe | Ciekawe, ale nie rozstrzygające (głębokość przewinięcia, kliknięcia do cennika) | |
| 4. Odbiorcy | Strony | Adresy URL objęte testem |
| Kto jest uwzględniony | Wszyscy odwiedzający lub segment, np. ruch płatny albo przedział wielkości firmy | |
| Kto jest wykluczony | Obecni klienci, ruch wewnętrzny, boty | |
| Podział ruchu | Zwykle 50/50 przy dwóch wariantach | |
| 5. Statystyka | Bazowy współczynnik konwersji | Ostatnie 4–8 tygodni dla tej strony i tego wskaźnika |
| Minimalny wykrywalny efekt | Najmniejszy względny wzrost, na który warto zareagować | |
| Ufność i moc | Zwykle 95% i 80% | |
| Wielkość próby na wariant | Z kalkulatora testów A/B | |
| Planowany czas trwania | Wielkość próby podzielona przez tygodniowy ruch, zaokrąglona w górę do pełnych tygodni | |
| 6. Reguły | Reguła zatrzymania | Kiedy odczytasz wynik (po osiągnięciu próby, nigdy wcześniej) |
| Zasada wygaszenia | Co skłoniłoby Cię do wcześniejszego zakończenia (zepsuty wariant, spadek metryki ochronnej) | |
| Reguła decyzyjna | Co wdrażasz, jeśli wynik to wygrana, przegrana lub brak rozstrzygnięcia | |
| 7. Wyniki | Daty trwania | Data rozpoczęcia i zakończenia |
| Wynik dla każdej grupy | Odwiedzający, konwersje, współczynnik konwersji | |
| Istotność i przedział | Wartość p i przedział ufności różnicy | |
| Decyzja i wnioski | Co wdrożyłeś i czego to Cię nauczyło o kupujących |
Jak to wypełnić
- Zaczynaj od dowodów, nie od pomysłów. Sekcja 1 pyta, dlaczego ten test istnieje. Dobre źródła: krok lejka z nietypowym spadkiem, nagrania sesji, notatki z rozmów sprzedażowych, wniosek z listy kontrolnej audytu CRO. „Prezes chce nowe hero” to nie dowód.
- Napisz falsyfikowalną hipotezę. „Jeśli skrócimy formularz demo z dziewięciu pól do pięciu, liczba próśb o demo na odwiedzającego wzrośnie, bo kupujący rezygnują, gdy pyta się ich o budżet, zanim zobaczą produkt”. Hipoteza bez uzasadnienia niczego Cię nie nauczy, gdy się nie sprawdzi.
- Wybierz jeden główny wskaźnik. Jeśli wybierzesz trzy, jeden z nich prawdopodobnie zmieni się przypadkiem, a Ty zechcesz ogłosić sukces.
- Oszacuj wielkość testu, zanim go zbudujesz. Wpisz wartość bazową i minimalny wykrywalny efekt do kalkulatora. Jeśli test potrzebuje więcej niż kwartał, zmień plan: przetestuj większą zmianę, użyj częstszej metryki albo wybierz stronę o większym ruchu. Nasz przewodnik po wielkości próby w teście A/B wyjaśnia te kompromisy.
- Uzgodnij regułę decyzyjną z góry. Ustal, co oznacza dla Ciebie „brak rozstrzygnięcia”. Wiele zespołów B2B przy płaskich wynikach wdraża prostszy wariant – to dobra reguła, o ile jest spisana przed startem.
Przykładowy wypełniony plan
Ilustracyjne liczby dla fikcyjnej firmy software’owej B2B.
| Pole | Wejście |
|---|---|
| Nazwa testu | DEMO-07: formularz demo z pięcioma polami |
| Dowody | Analityka formularza pokazuje, że najwięcej osób rezygnuje przy polu „Budżet”; dział sprzedaży potwierdza, że nie korzysta z niego przy pierwszej rozmowie |
| Hipoteza | Skrócenie formularza z dziewięciu do pięciu pól zwiększy liczbę próśb o demo na odwiedzającego, bo kupujący nie podadzą budżetu przed zobaczeniem produktu |
| Metryka główna | Wysłane formularze demo podzielone przez liczbę unikalnych odwiedzających /demo |
| Zabezpieczenia | Odsetek zgłoszeń zaakceptowanych przez sprzedaż jako kwalifikowane nie może spaść o więcej niż jedną czwartą |
| Grupa odbiorców | Wszyscy odwiedzający /demo z wyłączeniem zalogowanych klientów i wewnętrznych adresów IP; podział 50/50 |
| Punkt odniesienia | 8% odwiedzających /demo wysyła formularz |
| Minimalny wykrywalny efekt | 20% względnie (z 8,0% do 9,6%) |
| Wielkość próby | Około 4900 odwiedzających na wariant przy 95% ufności i mocy 80% |
| Czas trwania | /demo ma około 1500 odwiedzających tygodniowo, więc zebranie łącznie około 9800 odwiedzających zajmuje 7 tygodni |
| Reguła zatrzymania | Odczytaj wynik po 7 pełnych tygodniach lub gdy obie grupy przekroczą 4900 odwiedzających – w zależności od tego, co nastąpi później |
| Zasada wygaszenia | Zatrzymaj, jeśli formularz w wariancie się nie wysyła lub odsetek kwalifikowanych zgłoszeń spada o połowę w pierwszych dwóch tygodniach |
| Reguła decyzyjna | Wygrana: wdróż pięć pól. Przegrana: zostaw dziewięć. Wynik niejednoznaczny: wdróż pięć pól, bo to prostsze, a wzbogacanie danych uzupełni lukę |
Backlog testów
Plik CSV zawiera też arkusz backlogu, dzięki któremu uszeregujesz testy, zanim napiszesz pełne plany. Jeden wiersz na pomysł:
| ID | Strona | Pomysł | Dowody | Wpływ (1–3) | Pewność (1–3) | Łatwość (1–3) | Wynik | Potrzebne tygodnie | Status |
|---|---|---|---|---|---|---|---|---|---|
| DEMO-07 | /demo | Formularz z pięcioma polami | Porzucenia na polach | 3 | 2 | 3 | 8 | 7 | Planowane |
| HOME-03 | / | Sekcja hero dla branży | Odwiedzający z ICP częściej odrzucają stronę | 3 | 2 | 2 | 7 | 10 | Pomysł |
Pomysły z wysoką oceną, które wymagają ponad 12 tygodni, lepiej nadają się do porównania z grupą kontrolną lub reguły personalizacji niż do klasycznego testu A/B. Kiedy sprawdza się która metoda, przeczytasz w materiale test A/B a test wielowymiarowy.
Najczęściej zadawane pytania
Co powinien zawierać plan testu A/B?
Hipoteza z uzasadnieniem, jedna metryka główna z dokładną definicją, metryki ochronne, grupa odbiorców i podział, współczynnik bazowy, minimalny wykrywalny efekt, wielkość próby, czas trwania oraz zasady zatrzymania, wyłączenia i decyzji. Dodaj sekcję wyników, żeby plan stał się zapisem testu.
Czym różni się plan eksperymentu od briefu testu?
Te terminy są używane zamiennie. Niektóre zespoły nazywają „briefem” zlecenie projektu i tekstu dla grafika, a „planem” – konfigurację statystyczną. Ten szablon obejmuje oba, a zmiana kreatywna jest opisana w sekcji hipotezy.
Jak długo powinien trwać test A/B w B2B?
Do osiągnięcia wyliczonej wielkości próby i przez co najmniej pełny tydzień. Wiele stron B2B potrzebuje od czterech do dwunastu tygodni. Jeśli z obliczeń wychodzi dłużej niż kwartał, zmień test, zamiast przerywać go przedwcześnie.
Czy muszę pisać plan dla każdego małego testu?
Tak, choć przy teście treści przycisku plan może mieć pięć linijek. Reguła zatrzymania i główna metryka to dwie części, których nigdy nie pomijaj, bo to one chronią Cię przed uznaniem losowego wahnięcia za wygraną.