Test A/B to randomizowany eksperyment kontrolowany, w którym odwiedzający są losowo dzieleni między dwie wersje strony, e-maila lub funkcji – kontrolną (A) i wariant (B) – a z góry określona metryka jest porównywana, by sprawdzić, czy różnica między nimi jest większa, niż wynikałoby to z przypadku. To standardowy sposób, by dowiedzieć się, czy zmiana spowodowała poprawę, a nie tylko zbiegła się z nią w czasie.
Metoda jest dobrze ugruntowana w produktach internetowych; praktyczny przewodnik Kohaviego i współpracowników pozostaje standardowym źródłem (Kohavi i in., „Controlled experiments on the web”, Data Mining and Knowledge Discovery, 2009).
Jak działają testy A/B
- Hipoteza i wskaźnik. Określ zmianę, oczekiwany efekt i jeden główny wskaźnik, np. odsetek próśb o demo.
- Randomizacja. Każdy odwiedzający jest losowo przypisywany do A lub B i pozostaje w tej grupie przy kolejnych wizytach, więc grupy różnią się tylko zmianą.
- Wielkość próby. Z góry ustal, ilu odwiedzających potrzebuje każda wersja, na podstawie bazowego współczynnika, najmniejszego wzrostu wartego wykrycia (minimalny wykrywalny efekt), poziomu istotności i mocy testu.
- Uruchom. Pozwól testowi osiągnąć tę próbę, najlepiej w pełnych tygodniach. Nie przerywaj wcześniej tylko dlatego, że jedna strona wydaje się prowadzić.
- Analizuj. Porównaj współczynniki. Wynik jest istotny statystycznie na poziomie 5%, gdy przy braku rzeczywistej różnicy tak duża rozbieżność pojawiałaby się rzadziej niż w 5% przypadków.
Liczą się dwa ustawienia. Poziom istotności (zwykle 5%, często nazywany 95-procentowym poziomem ufności) kontroluje fałszywe alarmy. Moc (zwykle 80%) to szansa wykrycia efektu, jeśli jest prawdziwy; test o zbyt małej mocy zwykle daje „brak wyniku”.
Przykład
Przykład: strona demo konwertuje na poziomie 3%. Chcesz wykryć względny wzrost o 20% (z 3,0% do 3,6%) w teście dwustronnym przy istotności 5% i mocy 80%. Standardowy wzór dla dwóch proporcji wygląda tak:
n na wariant = [zα/2 x √(2 p̄(1 − p̄)) + zβ x √(p₁(1 − p₁) + p₂(1 − p₂))]² / (p₂ − p₁)²
- p₁ = 0,030; p₂ = 0,036; p̄ = 0,033; zα/2 = 1,96; zβ = 0,84
- Pierwszy składnik: 1,96 x √(2 x 0,033 x 0,967) = 1,96 x 0,2526 = 0,495
- Drugi składnik: 0,84 x √(0,0291 + 0,0347) = 0,84 x 0,2526 = 0,213
- Licznik: (0,495 + 0,213)² = 0,501; mianownik: 0,006² = 0,000036
- n ≈ 13 900 odwiedzających na wariant, łącznie około 27 800
Przy 2000 odwiedzających tygodniowo na tej stronie test potrzebuje około 14 tygodni. To jest właśnie użyteczny wynik: zanim cokolwiek zbudujesz, wiesz, że ta strona nie udźwignie w rozsądnym czasie testu na wzrost o 20%, więc testujesz odważniejszą zmianę, wybierasz stronę o większym ruchu albo wdrażasz zmianę i ją monitorujesz. Tę liczbę możesz odtworzyć w naszym kalkulatorze testów A/B lub w kalkulatorze wielkości próby Evana Millera.
Testy A/B, A/B/n i wielowymiarowe
| A/B | A/B/n | Test wielowymiarowy (MVT) | |
|---|---|---|---|
| Co się zmienia | Jedna kontrola vs jeden wariant | Jedna wersja kontrolna kontra kilka wariantów | Kilka elementów naraz, każda kombinacja |
| Potrzebny ruch | Najniższa | Rośnie z każdym wariantem | Najwyższa: ruch dzieli się na wszystkie kombinacje |
| Odpowiada na pytania | Czy B jest lepsze od A? | Która z kilku wersji jest najlepsza? | Która kombinacja elementów działa i czy elementy na siebie wpływają? |
| Pasuje | Większość stron B2B | Nagłówki lub oferty z realnym ruchem | Tylko strony o dużym ruchu |
Nielsen Norman Group podsumowuje ten kompromis: testy wielowymiarowe nadają się do stopniowego dopracowywania stron z dużym ruchem, a testy A/B pozwalają porównać radykalnie różne projekty (NN/g, "Multivariate vs. A/B Testing").
Jak zespoły B2B wykorzystują testy A/B
- Testowanie długości i treści formularzy demo i kontaktowych.
- Porównywanie propozycji wartości i nagłówków na landing page’ach o dużym ruchu.
- Walidacja personalizacji: treść dla segmentu vs strona ogólna, z grupą kontrolną.
- Układ strony cennika i prezentacja planów.
- Tematy e-maili i treści nurturingowe, jeśli pozwala na to wolumen.
Najczęściej zadawane pytania
Jak długo powinien trwać test A/B?
Dopóki nie osiągnie wielkości próby obliczonej przed startem i przez co najmniej jeden pełny tydzień, najlepiej dwa, aby uwzględnić wszystkie dni tygodnia. Aby oszacować czas trwania, podziel wymaganą liczbę odwiedzających na wariant przez tygodniowy ruch na wariant. Jeśli wychodzi kilka miesięcy, test w tej formie nie ma sensu.
Jaki minimalny wykrywalny efekt jest dobry?
Najmniejszy wzrost, na który warto zareagować, biorąc pod uwagę koszt zmiany. Strony B2B o małym ruchu zwykle potrzebują większego minimalnego wykrywalnego efektu – często 20% względnie lub więcej – by test zakończył się w rozsądnym czasie. Mniejsze efekty mogą być prawdziwe, ale wymagają znacznie większego ruchu, bo wielkość próby rośnie mniej więcej odwrotnie proporcjonalnie do kwadratu efektu.
Czy można prowadzić testy A/B przy małym ruchu?
Tak, ale testuj większe zmiany, wybierz krok lejka o największym ruchu i metrykę, która występuje często, na przykład kliknięcia do strony demo zamiast zamkniętych transakcji. Gdy nawet to trwa zbyt długo, wprowadź zmianę na podstawie badań i monitoruj wyniki przed i po, akceptując, że dowody są słabsze.
Powiązane
Planuj testy za pomocą szablonu planu testu A/B, przeczytaj dokładniejsze omówienie wielkości próby w testach A/B i wybierz projekt testu na podstawie artykułu testy A/B a testy wielowymiarowe. Szerszy proces opisujemy w artykule o optymalizacji współczynnika konwersji.