Wzór na wielkość próby w testach A/B mówi, ilu odwiedzających potrzebuje każdy wariant, zanim różnica we współczynniku konwersji zacznie cokolwiek znaczyć. W standardowym teście dwustronnym przy 95% ufności i mocy 80% potrzebujesz około n = (1,96 + 0,84)² × (p1(1−p1) + p2(1−p2)) / (p2 − p1)² odwiedzających na wariant, gdzie p1 to bazowy współczynnik, a p2 współczynnik, który chcesz wykryć.
Podstaw do tego wzoru prawdziwe liczby z B2B, a wynik będzie niewygodny. Strona konwertująca na poziomie 3% potrzebuje około 14 000 odwiedzających na wariant, by wiarygodnie wykryć względny wzrost o 20%. Wiele stron B2B nie ma tylu odwiedzających w kwartał. Poniżej: wzór krok po kroku, wyliczone tabele dla różnych bazowych współczynników, ile trwa test przy danym poziomie ruchu i co zrobić, gdy odpowiedź brzmi „osiem miesięcy”.
Nasze stanowisko: większość testów A/B w B2B ma zbyt małą moc
Najpierw opinia, którą potwierdza matematyka. Naszym zdaniem większość testów A/B w B2B kończy się na długo przed zebraniem wystarczających danych, a wielu „zwycięzców” to szum. Schemat wygląda tak: trzytygodniowy test, wariant z przewagą 25%, zielony znaczek, wdrożona zmiana, a pół roku później żadnego widocznego wzrostu w pipeline.
Testy o zbyt małej mocy przeoczają rzeczywiste efekty, co marnuje miejsce na test. Co gorsza, gdy taki test jednak przekroczy próg istotności, zmierzony wzrost jest zwykle zawyżony, bo przez poprzeczkę przechodzą tylko szczęśliwe losowania. Statystycy nazywają to błędem wielkości (typu M). Zespół wdraża zmianę, która może nic nie dawać, i do tego wpisuje zawyżoną liczbę do raportów CRO. Wyliczenie wielkości próby przed startem to najtańsza ochrona.
Wzór na wielkość próby w teście A/B
Standardowy wzór do porównania dwóch współczynników konwersji (test z dla dwóch proporcji) to:
n na wariant = [ zα/2 × √(2 × p̄ × (1 − p̄)) + zβ × √(p1(1 − p1) + p2(1 − p2)) ]² / (p2 − p1)²
Każda dana wejściowa ma proste znaczenie:
- p1 (bazowy współczynnik konwersji): obecny współczynnik konwersji testowanej strony i celu. Używaj wskaźnika dla dokładnie tego zdarzenia konwersji i dokładnie tej strony z ostatnich 4–8 tygodni, a nie średniej dla całej witryny.
- p2 (docelowy współczynnik): wartość bazowa pomnożona przez (1 + MDE). Przy bazowej konwersji 3% i względnym MDE 20% p2 = 3,6%.
- MDE (minimalny wykrywalny efekt): najmniejszy względny wzrost, który chcesz wykryć. To decyzja biznesowa, a nie statystyczna. Mniejsze MDE wymagają drastycznie większego ruchu, bo różnica (p2 − p1) jest podniesiona do kwadratu w mianowniku. Zmniejsz MDE o połowę, a próba wzrośnie mniej więcej czterokrotnie.
- p̄ (współczynnik łączny): średnia z p1 i p2. Opisuje szum przy założeniu, że rzeczywistej różnicy nie ma.
- zα/2 = 1,96: odpowiada 5% odsetkowi wyników fałszywie dodatnich (alfa 0,05), podzielonemu na oba ogony, bo wariant może być lepszy lub gorszy.
- zβ = 0,8416: odpowiada mocy 80%, co oznacza, że jeśli rzeczywisty wzrost równa się Twojemu MDE, test wykryje go w 80% przypadków. W pozostałych 20% przypadków przegapisz prawdziwego zwycięzcę.
Wiele kalkulatorów korzysta z uproszczonej wersji bez łączenia wariancji, pokazanej w pierwszym akapicie. Przy współczynnikach konwersji typowych dla B2B obie różnią się zaledwie o kilku odwiedzających. Nasz kalkulator testów A/B korzysta z powyższego wzoru z łączoną wariancją i szacuje też czas trwania testu.
Przykład krok po kroku
Przykład (liczby poglądowe): strona zapytania o demo konwertuje na poziomie 3%. Chcesz wykryć względny wzrost o 20%.
- Ustal współczynniki: p1 = 0,030, p2 = 0,030 × 1,2 = 0,036. Różnica bezwzględna wynosi 0,006.
- Współczynnik łączny: p̄ = (0,030 + 0,036) / 2 = 0,033.
- Pierwszy składnik: √(2 × 0,033 × 0,967) = √0,06382 = 0,2526. Pomnóż przez 1,96: 0,4951.
- Drugi składnik: p1(1−p1) = 0,0291 i p2(1−p2) = 0,0347. √(0,0638) = 0,2526. Pomnóż przez 0,8416: 0,2126.
- Dodaj i podnieś do kwadratu: (0,4951 + 0,2126)² = 0,7077² = 0,5009.
- Podziel przez kwadrat różnicy: 0,5009 / 0,006² = 0,5009 / 0,000036 = 13 914 odwiedzających na wariant.
Test potrzebuje więc łącznie około 27 800 odwiedzających i mniej więcej 417 konwersji w samej grupie kontrolnej (13 914 × 3%), zanim odczytasz wynik. Dla sprawdzenia: uproszczony wzór bez łączenia wariancji daje 13 911 na wariant, a przybliżenie arcsinus (h Cohena) około 13 890. Trzy metody różnią się o mniej niż 0,2%.
Tabela wielkości próby dla współczynników konwersji w B2B
Poniższa tabela stosuje powyższy wzór dla prób łączonych (alfa 0,05 dwustronnie, moc 0,8) dla bazowych współczynników od 1% (np. prośby o demo jako odsetek wszystkich odwiedzających popularną stronę) do 10% (np. mikrokonwersja, taka jak kliknięcie CTA). Użyj własnego współczynnika bazowego; te wiersze to tylko punkty odniesienia. Wartości oznaczają liczbę odwiedzających na wariant, obliczoną w Node.js i zaokrągloną w górę.
| Bazowy współczynnik konwersji | Względny MDE 10% | Względny MDE 20% | Względny MDE 30% | Względne MDE 50% |
|---|---|---|---|---|
| 1% | 163,095 | 42,693 | 19,827 | 7,750 |
| 2% | 80,682 | 21,109 | 9,798 | 3,826 |
| 3% | 53,211 | 13,914 | 6,455 | 2,518 |
| 5% | 31,234 | 8,158 | 3,780 | 1,471 |
| 10% | 14,751 | 3,841 | 1,774 | 686 |
Przejście z MDE 10% na MDE 50% zmniejsza wymaganą próbę mniej więcej 20-krotnie. Podwojenie bazowego współczynnika zmniejsza ją mniej więcej o połowę. Ruchu nie zmienisz szybko, ale możesz wybrać wielkość testowanej zmiany i mierzoną konwersję, a na małej stronie to właśnie te dwie dźwignie się liczą.
Jak długo potrwa test?
Czas trwania to łączna wymagana liczba odwiedzających (oba warianty) podzielona przez miesięczną liczbę odwiedzających, którzy faktycznie docierają do testowanej strony. Tabela pokazuje liczbę miesięcy przy podziale 50/50 dla trzech poziomów ruchu.
| Miesięczna liczba odwiedzających stronę | Punkt odniesienia | MDE 10% | MDE 20% | MDE 30% | MDE 50% |
|---|---|---|---|---|---|
| 2,000 | 2% | 80.7 | 21.1 | 9.8 | 3.8 |
| 2,000 | 3% | 53.2 | 13.9 | 6.5 | 2.5 |
| 2,000 | 5% | 31.2 | 8.2 | 3.8 | 1.5 |
| 5,000 | 2% | 32.3 | 8.4 | 3.9 | 1.5 |
| 5,000 | 3% | 21.3 | 5.6 | 2.6 | 1.0 |
| 5,000 | 5% | 12.5 | 3.3 | 1.5 | 0.6 |
| 20,000 | 2% | 8.1 | 2.1 | 1.0 | 0.4 |
| 20,000 | 3% | 5.3 | 1.4 | 0.6 | 0.3 |
| 20,000 | 5% | 3.1 | 0.8 | 0.4 | 0.1 |
Niezależnie od tego, co mówi tabela, prowadź każdy test co najmniej dwa pełne tygodnie, żeby zachowania w dni robocze i weekendy oraz ewentualne skoki z kampanii były reprezentowane w obu grupach. A wszystko powyżej trzech miesięcy traktuj jako test, którego prawdopodobnie nie powinieneś prowadzić w obecnej formie: treść strony, kampanie i struktura ruchu zmieniają się w tym czasie, a wynik opisuje stronę, która już nie istnieje.
Przy 5000 odwiedzających miesięcznie i bazowym współczynniku 3% wzrost o 50% da się odczytać w około miesiąc, a wzrost o 10% wymaga prawie dwóch lat. Nikt nie zostawia strony bez zmian przez dwa lata, więc drugi test zostanie przerwany wcześniej i odczytany tak, jakby coś znaczył.
Co większość zespołów robi źle
- Używanie ruchu z całej strony do szacowania czasu trwania. Liczą się tylko odwiedzający, którzy dotrą do testowanego elementu. Test na stronie cennika w serwisie z 20 000 odwiedzających może mieć tylko 2000 kwalifikujących się odwiedzających miesięcznie.
- Wybieranie MDE po teście. Jeśli przed startem ustalisz MDE na 30%, a test pokaże 12%, nie masz zwycięzcy z wynikiem 12%. Masz test nierozstrzygnięty.
- Podglądanie wyników i zatrzymywanie testu przy pierwszej zielonej odznace. Analiza Evana Millera How Not To Run an A/B Test pokazuje, że wielokrotne testowanie istotności zawsze zwiększa odsetek fałszywie pozytywnych wyników. W jego przykładzie (punkt wyjścia 50%, zmiana bez żadnego efektu, zatrzymanie, gdy tylko wynik osiągnie istotność 5% lub po 150 obserwacjach) odsetek fałszywie pozytywnych wyników wynosi 26,1% zamiast nominalnych 5%.
Gdy liczby mówią „miesiące”: siedem opcji
1. Testuj większe zmiany
Najtańszy sposób na zmniejszenie próby to uczciwe podniesienie MDE, czyli testowanie zmian na tyle dużych, by mogły realnie dać taki efekt: nowa propozycja wartości, inna oferta (natychmiastowa rezerwacja zamiast formularza kontaktowego), strona dopasowana do jednej branży zamiast ogólnej. Nasz przewodnik po optymalizacji współczynnika konwersji B2B pokazuje, jak szeregować pomysły na testy według oczekiwanej wielkości efektu.
2. Testuj na stronach o większym ruchu
Strona główna, najpopularniejsze wpisy blogowe i landing page’e o dużym wolumenie dają więcej odwiedzających miesięcznie (zobacz nasze uwagi o optymalizacji landing page’y B2B, by sprawdzić, które strony zwykle mają najwięcej ruchu z etapu decyzji). Test na szablonie współdzielonym przez wiele stron (wszystkie strony rozwiązań, wszystkie wpisy blogowe) łączy ich ruch w jeden eksperyment.
3. Ostrożnie z mikrokonwersjami
Mikrokonwersje, takie jak kliknięcia CTA czy rozpoczęcie formularza, mają wyższe wartości bazowe, więc zamiast wiersza 2% w tabeli stosuje się wiersz 10%. Haczyk: wariant może zwiększyć liczbę kliknięć i jednocześnie zmniejszyć liczbę kwalifikowanych demo. Używaj mikrokonwersji jako wskaźnika decyzyjnego tylko wtedy, gdy masz dowody, że zmienia się razem z celem makro, i zawsze raportuj obok niej makrokonwersję jako zabezpieczenie.
4. Łącz segmenty, a dziel je później
Prowadzenie osobnych testów dla każdego segmentu dzieli Twój ruch. Przeprowadź jeden test obejmujący segmenty, a wyniki na poziomie segmentów traktuj wyłącznie kierunkowo. Jeśli potrzebujesz odpowiedzi dla konkretnego segmentu, test musi być zwymiarowany pod ruch tylko tego segmentu. 90-dniowa roadmapa testów personalizacji pokazuje, jak ułożyć testy segmentów, by każdy dostał wystarczający ruch.
5. Stosuj testy sekwencyjne
Projekty sekwencyjne (grupowe testy sekwencyjne z zaplanowanymi z góry analizami pośrednimi albo metody „always-valid” wbudowane w niektóre narzędzia do testów) pozwalają sprawdzać wyniki w trakcie testu i zakończyć go wcześniej przy dużym efekcie, bez zawyżania liczby fałszywych pozytywów. Kosztem jest nieco większa maksymalna próba, jeśli test potrwa do końca. To uprawniona wersja podglądania wyników. Jeśli test trwałby miesiącami, najpierw przeznacz budżet na diagnostyczne narzędzia CRO, takie jak nagrania sesji i analityka formularzy.
6. Rozważ podejście bayesowskie – z jasno określonymi oczekiwaniami
Bayesowskie testy A/B podają prawdopodobieństwo, że B jest lepsze od A, oraz oczekiwaną stratę, jeśli wybierzesz źle. Łatwiej na tej podstawie działać niż na podstawie wartości p, a do tego pozwala to podejmować jawne decyzje typu „wdrażamy, jeśli prawdopodobieństwo, że wariant jest lepszy, przekracza 90%, a oczekiwana strata jest mniejsza niż 0,1 punktu procentowego”. W przypadku odwracalnych zmian zaakceptowanie takiego ryzyka jest często racjonalne.
Metody bayesowskie nie tworzą jednak informacji. Przy słabych rozkładach a priori ilość danych potrzebnych do pewności co do wzrostu o 20% jest mniej więcej taka sama jak w tabeli dla podejścia częstościowego. 90% „prawdopodobieństwa wygranej” na małej próbie nadal jest kruche, a codzienne sprawdzanie go z regułą zatrzymania w praktyce wciąż zwiększa odsetek błędów. Testy bayesowskie zmieniają sposób wyrażania niepewności i podejmowania decyzji. Nie zmniejszają niepewności.
7. Nie podglądaj wyników albo zaplanuj podglądanie
Ustal wielkość próby przed startem, zapisz ją w briefie testu i nie rozstrzygaj testu, dopóki jej nie osiągniesz. Jeśli interesariusze potrzebują bieżących informacji, od początku zastosuj projekt sekwencyjny zamiast doraźnych sprawdzeń. Nasz szablon planu eksperymentu ma pole na każdą z tych decyzji.
Checklista przed startem
- Pobierz bazowy współczynnik i miesięczną liczbę kwalifikujących się odwiedzających dla konkretnej strony i konwersji (ostatnie 4–8 tygodni).
- Wybierz MDE na podstawie wielkości zmiany i zapisz go.
- Oblicz n na wariant za pomocą wzoru lub tabeli powyżej, a potem czas trwania.
- Jeśli czas trwania przekracza około trzech miesięcy, przeprojektuj test (większa zmiana, strona z większym ruchem lub metryka o wyższym poziomie bazowym z zabezpieczeniem).
- Ustal regułę zatrzymania: stała próba lub plan sekwencyjny z zaplanowanymi punktami odczytu.
W zespołach B2B największe efekty zwykle daje pokazywanie różnym odwiedzającym różnych treści, a nie dopieszczanie jednej strony dla wszystkich, bo komunikat napisany dla jednego segmentu to większa zmiana niż nowy kolor przycisku. Jeśli wybierasz między prostym testem dzielonym a testem z kilkoma wariantami lub czynnikami, przeczytaj nasze porównanie testów A/B i testów wielowymiarowych, które stosuje te same obliczenia wielkości próby do projektów A/B/n i wielowymiarowych.
Gdy będziesz gotowy testować doświadczenia dla konkretnych segmentów, testy A/B dla spersonalizowanych stron w Markettailor pozwolą porównać każdy segment z grupą kontrolną i śledzić wynik dla każdego segmentu, więc zaplanowana wielkość próby będzie tą, którą faktycznie uzyskasz.
Najczęściej zadawane pytania
Jaki jest wzór na wielkość próby w teście A/B?
Dla dwóch współczynników konwersji n na wariant = [1,96 × √(2p̄(1−p̄)) + 0,8416 × √(p1(1−p1) + p2(1−p2))]² / (p2 − p1)², gdzie p1 to wartość bazowa, p2 docelowy współczynnik, a p̄ ich średnia. Zakłada to poziom ufności 95% (test dwustronny) i moc 80%.
Ilu odwiedzających potrzebuję do testu A/B przy współczynniku konwersji 2%?
Około 21 100 odwiedzających na wariant, aby wykryć względny wzrost o 20%, około 9800 dla wzrostu o 30% i około 3800 dla wzrostu o 50%, przy 95-procentowym poziomie ufności i mocy 80%. Łączny ruch testowy to dwukrotność tych wartości.
Czy bayesowski test A/B wymaga mniejszej próby?
Nie w istotnym stopniu, chyba że masz mocny, uzasadniony rozkład a priori. Testy bayesowskie dają bardziej intuicyjne wyniki (prawdopodobieństwo pokonania kontroli, oczekiwana strata) i wspierają decyzje oparte na ryzyku, ale ilość danych potrzebna do pewności co do danego wzrostu jest podobna jak w podejściu częstościowym.
Jakiego minimalnego wykrywalnego efektu powinna używać strona B2B?
Wybieraj MDE na podstawie ruchu, a nie pobożnych życzeń. Oblicz, co da się wykryć w ciągu sześciu do ośmiu tygodni przy ruchu na Twojej stronie, a potem testuj tylko zmiany na tyle duże, by realnie mogły dać taki wzrost. W tabeli czasu trwania powyżej strona z 5000 odwiedzających miesięcznie i bazową konwersją 3% może w ciągu trzech miesięcy wykryć tylko wzrosty rzędu 30% lub więcej.
Czy mogę wcześniej zakończyć test A/B, jeśli jest już istotny?
Nie w standardowym teście o stałej wielkości próby, bo wielokrotne sprawdzanie wyników zwiększa liczbę fałszywych alarmów. Jeśli chcesz mieć możliwość wcześniejszego zakończenia, użyj sekwencyjnego projektu testu z analizami pośrednimi zaplanowanymi przed startem.