Jak działa kalkulator
Zakładka wielkości próby używa standardowego wzoru do porównania dwóch współczynników konwersji dwustronnym testem z dla dwóch proporcji:
n na wariant = [ zα/2 × √(2p̄(1 − p̄)) + zβ × √(p1(1 − p1) + p2(1 − p2)) ]² / (p2 − p1)²
- p1 to Twój bazowy współczynnik konwersji dla dokładnie tej strony i tego celu, które testujesz.
- p2 to wartość bazowa pomnożona przez (1 + minimalny wykrywalny efekt).
- p̄ to średnia z p1 i p2.
- zα/2 wynosi 1,96 przy 95-procentowym poziomie ufności, a zβ wynosi 0,84 przy mocy 80%.
Przy więcej niż jednym wariancie kalkulator dzieli alfę przez liczbę porównań z kontrolą (korekta Bonferroniego), dzięki czemu ogólny odsetek fałszywych alarmów pozostaje na wybranym poziomie ufności. Nasz przewodnik po wielkości próby w testach A/B omawia wzór krok po kroku, z tabelami dla typowych współczynników konwersji w B2B.
Przykład krok po kroku
Liczby poglądowe: strona prośby o demo konwertuje na poziomie 3% i ma 2000 odwiedzających tygodniowo. Chcesz sprawdzić, czy nowy nagłówek zwiększa konwersję o co najmniej 20%, więc p2 wynosi 3,6%. Kalkulator zwraca około 13 900 odwiedzających na wariant, łącznie 27 800, czyli 14 tygodni ruchu. To uczciwa odpowiedź dla wielu stron B2B i dlatego narzędzie oznacza każdy test dłuższy niż kwartał.
Trzy sposoby na skrócenie czasu trwania: przetestuj odważniejszą zmianę i podnieś minimalny wykrywalny efekt do 30% lub więcej, mierz częstsze zdarzenie, np. kliknięcia w stronę demo, albo przeprowadź test na stronie o większym ruchu. Jeśli wybierasz między testem A/B a testem kilku elementów naraz, najpierw przeczytaj testy A/B vs testy wielowymiarowe, bo testy wielowymiarowe wymagają znacznie większego ruchu.
Jak czytać wynik istotności
Zakładka istotności porównuje dwa zakończone warianty. Załóżmy, że grupa kontrolna miała 5000 odwiedzających i 150 konwersji (3,0%), a wariant 5000 odwiedzających i 190 konwersji (3,8%). Względny wzrost wynosi 26,7%, wartość p około 0,027, a 95-procentowy przedział ufności różnicy wynosi od około 0,1 do 1,5 punktu procentowego. Wynik jest istotny, ale przedział jest szeroki: rzeczywisty wzrost może być niewielki. Traktuj zmierzony wzrost jako szacunek raczej zawyżony, zwłaszcza gdy test przerwano wcześnie.
Co testować najpierw na stronie B2B o małym ruchu, przeczytasz w sekcji o testowaniu w naszym przewodniku po optymalizacji współczynnika konwersji. Jeśli testujesz spersonalizowane doświadczenia, a nie pojedyncze zmiany na stronie, testy A/B w Markettailor prowadzą grupy kontrolne dla każdego segmentu odwiedzających.
Najczęściej zadawane pytania
Ilu odwiedzających potrzebuję do testu A/B?
To zależy od bazowego współczynnika konwersji i najmniejszego wzrostu, jaki chcesz wykryć. Przy bazie 3% wykrycie względnego wzrostu o 20% przy 95% poziomie ufności i 80% mocy testu wymaga około 13 900 odwiedzających na wariant. Zmniejszenie o połowę wykrywanego wzrostu mniej więcej czterokrotnie zwiększa próbę.
Jak oblicza się istotność statystyczną testu A/B?
Ten kalkulator stosuje dwustronny test z dla dwóch proporcji. Łączy obie grupy, by oszacować szum, jakiego można by się spodziewać przy braku rzeczywistej różnicy, dzieli zaobserwowaną różnicę współczynników konwersji przez ten błąd standardowy i przelicza uzyskaną wartość z na wartość p. Wartość p poniżej 0,05 oznacza istotność przy 95-procentowym poziomie ufności.
Jak długo powinien trwać test A/B?
Dopóki nie osiągnie wielkości próby obliczonej przed startem i przez co najmniej jeden pełny tydzień, aby uwzględnić zachowania w dni robocze i w weekend. Powyższe oszacowanie czasu trwania dzieli łączną próbę przez tygodniowy ruch na testowanej stronie.
Czy mogę zatrzymać test A/B, gdy tylko wynik będzie istotny?
Nie. Wielokrotne sprawdzanie wyników i zatrzymanie testu przy pierwszym istotnym odczycie zawyża odsetek wyników fałszywie dodatnich daleko ponad 5%. Ustal wielkość próby z góry i odczytaj wynik dopiero po jej osiągnięciu albo użyj metody przeznaczonej do ciągłego monitorowania, np. testu sekwencyjnego.
Co, jeśli moja strona B2B ma za mały ruch na testy A/B?
Testuj większe zmiany, wybierz zdarzenie konwersji, które zachodzi częściej (np. kliknięcia w stronę demo zamiast umówionych dem), testuj na szablonie o największym ruchu albo zaakceptuj dłuższy test. Jeśli test trwałby dłużej niż kwartał, zamiast tego użyj badań jakościowych i porównań z grupą kontrolną.