A/B 테스트는 방문자를 페이지, 이메일, 기능의 두 버전, 즉 대조군(A)과 변형(B)에 무작위로 나누고, 사전에 정한 지표를 비교해 그 차이가 우연으로 설명할 수 있는 수준보다 큰지 확인하는 무작위 통제 실험입니다. 어떤 변경이 개선과 우연히 겹친 것이 아니라 실제로 개선을 일으켰는지 알아내는 표준 방법입니다.
이 방법은 온라인 제품 분야에서 잘 확립되어 있으며, Kohavi와 동료들의 실무 가이드가 여전히 표준 참고 자료입니다(Kohavi et al., "Controlled experiments on the web", Data Mining and Knowledge Discovery, 2009).
A/B 테스트의 작동 방식
- 가설과 지표. 변경 내용, 기대 효과, 그리고 데모 요청률 같은 주요 지표 하나를 명시하세요.
- 무작위 배정. 각 방문자는 A 또는 B에 무작위로 배정되고 재방문 시에도 같은 그룹에 유지되므로, 그룹 간 차이는 변경 사항뿐입니다.
- 표본 크기. 기준 전환율, 감지할 가치가 있는 최소 개선 폭(최소 감지 효과), 유의 수준, 검정력을 바탕으로 각 버전에 필요한 방문자 수를 미리 정하세요.
- 실행. 테스트가 해당 표본에 도달할 때까지, 가능하면 주 단위로 온전히 실행하세요. 한쪽이 앞서 보인다고 일찍 중단하지 마세요.
- 분석. 비율을 비교합니다. 실제로 차이가 없다면 이만큼 큰 격차가 나타날 확률이 5% 미만일 때, 그 결과는 5% 수준에서 통계적으로 유의합니다.
두 가지 설정이 중요합니다. 유의수준(보통 5%, 흔히 95% 신뢰수준이라고 함)은 위양성을 통제합니다. 검정력(보통 80%)은 효과가 실제로 있을 때 이를 감지할 확률이며, 검정력이 부족한 테스트는 대부분 '결과 없음'으로 끝납니다.
예시
예: 데모 페이지의 전환율이 3%입니다. 유의수준 5%, 검정력 80%의 양측 검정으로 20%의 상대적 개선(3.0%에서 3.6%로)을 감지하려 합니다. 표준 두 비율 공식은 다음과 같습니다.
변형별 n = [zα/2 x √(2 p̄(1 − p̄)) + zβ x √(p₁(1 − p₁) + p₂(1 − p₂))]² / (p₂ − p₁)²
- p₁ = 0.030, p₂ = 0.036, p̄ = 0.033, zα/2 = 1.96, zβ = 0.84
- 첫 번째 항: 1.96 x √(2 x 0.033 x 0.967) = 1.96 x 0.2526 = 0.495
- 두 번째 항: 0.84 x √(0.0291 + 0.0347) = 0.84 x 0.2526 = 0.213
- 분자: (0.495 + 0.213)² = 0.501, 분모: 0.006² = 0.000036
- 변형당 n ≈ 13,900명, 총 약 27,800명
해당 페이지 방문자가 주 2,000명이라면 테스트에 약 14주가 걸립니다. 이것이 유용한 결과입니다. 무엇을 만들기 전에 이 페이지로는 20% 향상을 합리적인 기간 내에 테스트할 수 없다는 것을 알게 되므로, 더 과감한 변경을 테스트하거나, 트래픽이 많은 페이지를 사용하거나, 그냥 배포하고 모니터링하면 됩니다. 이 수치는 A/B 테스트 계산기나 Evan Miller의 표본 크기 계산기로 재현할 수 있습니다.
A/B vs A/B/n vs 다변량 테스트
| A/B | A/B/n | 다변량 테스트(MVT) | |
|---|---|---|---|
| 달라지는 것 | 대조군 1개 vs 변형 1개 | 대조군 하나 vs 여러 변형 | 여러 요소를 동시에, 모든 조합으로 |
| 필요한 트래픽 | 가장 낮음 | 변형마다 늘어남 | 가장 높음: 모든 조합에 트래픽이 분산됨 |
| 답하는 질문 | B가 A보다 나은가요? | 여러 버전 중 어느 것이 가장 좋은가? | 어떤 요소 조합이 효과적이며, 요소끼리 상호작용하나요? |
| 적합 | 대부분의 B2B 페이지 | 실제 트래픽이 있는 헤드라인이나 오퍼 | 트래픽이 많은 페이지만 |
Nielsen Norman Group은 트레이드오프를 이렇게 요약합니다. 다변량 테스트는 트래픽이 많은 페이지의 점진적 개선에 적합하고, A/B 테스트는 근본적으로 다른 디자인을 비교할 수 있습니다(NN/g, "Multivariate vs. A/B Testing").
B2B 팀이 A/B 테스트를 활용하는 방법
- 데모 및 문의 양식의 길이와 문구 테스트.
- 트래픽이 많은 랜딩 페이지의 가치 제안과 헤드라인 비교.
- 개인화 검증: 세그먼트별 콘텐츠 vs 일반 페이지, 홀드아웃 포함.
- 요금 페이지 레이아웃과 요금제 표시 방식.
- 데이터 양이 허락한다면 이메일 제목과 육성 콘텐츠.
자주 묻는 질문
A/B 테스트는 얼마나 오래 진행해야 하나요?
출시 전에 계산한 표본 크기에 도달할 때까지, 그리고 모든 요일이 포함되도록 최소 1주, 가능하면 2주 동안 실행하세요. 변형당 필요한 방문자 수를 변형당 주간 트래픽으로 나누면 기간을 추정할 수 있습니다. 답이 몇 달이라면 현재 설계로는 테스트가 불가능합니다.
적절한 최소 감지 효과는 어느 정도인가요?
변경 비용을 고려했을 때 조치할 가치가 있는 최소 향상률입니다. 트래픽이 적은 B2B 페이지는 합리적인 기간 내에 끝내려면 보통 더 큰 최소 감지 효과, 흔히 상대적으로 20% 이상이 필요합니다. 더 작은 효과도 실제일 수 있지만 훨씬 많은 트래픽이 필요합니다. 표본 크기는 대략 효과 크기의 제곱에 반비례해 커지기 때문입니다.
트래픽이 적어도 A/B 테스트를 할 수 있나요?
네, 하지만 더 큰 변경을 테스트하고, 퍼널에서 트래픽이 가장 많은 단계를 활용하며, 성사된 거래보다 데모 페이지 클릭처럼 자주 발생하는 지표를 고르세요. 그것마저 너무 느리다면 리서치를 바탕으로 변경하고 전후를 모니터링하되, 근거가 더 약하다는 점은 받아들이세요.
관련 글
A/B 테스트 계획 템플릿으로 테스트를 계획하고, A/B 테스트 표본 크기의 심층 설명을 읽고, A/B 테스트 vs 다변량 테스트로 테스트 설계를 선택하세요. 전체 프로세스는 전환율 최적화를 참고하세요.