계산기 작동 방식
표본 크기 탭은 양측 두 비율 z-검정으로 두 전환율을 비교하는 표준 공식을 사용합니다.
n per variant = [ zα/2 × √(2p̄(1 − p̄)) + zβ × √(p1(1 − p1) + p2(1 − p2)) ]² / (p2 − p1)²
- p1은 테스트하는 바로 그 페이지와 목표의 기준 전환율입니다.
- p2는 기준 전환율에 (1 + 최소 감지 효과)를 곱한 값입니다.
- p̄는 p1과 p2의 평균입니다.
- zα/2는 95% 신뢰수준에서 1.96이고, zβ는 80% 검정력에서 0.84입니다.
변형이 두 개 이상이면 계산기는 알파를 대조군과의 비교 횟수로 나눕니다(Bonferroni 보정). 이렇게 하면 전체 위양성률이 선택한 신뢰수준에 유지됩니다. A/B 테스트 표본 크기 가이드에서 일반적인 B2B 전환율에 대한 표와 함께 공식을 단계별로 설명합니다.
실전 예시
예시 수치: 데모 요청 페이지의 전환율이 3%이고 주간 방문자가 2,000명입니다. 새 헤드라인이 전환율을 최소 20% 높이는지 알고 싶으므로 p2는 3.6%입니다. 계산기는 변형당 약 13,900명, 총 27,800명을 제시하며, 이는 14주 분량의 트래픽입니다. 많은 B2B 페이지에 대한 솔직한 답이며, 그래서 이 도구는 한 분기보다 긴 테스트에 경고를 표시합니다.
기간을 줄이는 세 가지 방법: 더 과감한 변화를 테스트하고 최소 감지 효과를 30% 이상으로 높이거나, 데모 페이지 클릭처럼 더 자주 발생하는 이벤트를 측정하거나, 트래픽이 더 많은 페이지에서 테스트하세요. A/B 테스트와 여러 요소를 동시에 테스트하는 방식 사이에서 고민 중이라면, 다변량 테스트에는 훨씬 많은 트래픽이 필요하므로 먼저 A/B 테스트 vs 다변량 테스트를 읽어 보세요.
유의성 결과 읽는 법
유의성 탭은 종료된 두 그룹을 비교합니다. 대조군이 방문자 5,000명에 전환 150건(3.0%), 변형안이 방문자 5,000명에 전환 190건(3.8%)이었다고 가정해 보겠습니다. 상대적 향상률은 26.7%, p-값은 약 0.027이며, 차이의 95% 신뢰구간은 약 0.1%p에서 1.5%p입니다. 결과는 유의하지만 구간이 넓어서 실제 향상률은 작을 수도 있습니다. 측정된 향상률은 높은 쪽으로 치우친 추정치로 보십시오. 특히 테스트를 일찍 중단했다면 더욱 그렇습니다.
트래픽이 적은 B2B 사이트에서 무엇부터 테스트할지는 전환율 최적화 가이드의 테스트 섹션을 참고하세요. 단일 페이지 변경이 아니라 개인화 경험을 테스트한다면, Markettailor의 A/B 테스트가 방문자 세그먼트별로 홀드아웃을 운영합니다.
자주 묻는 질문
A/B 테스트에는 방문자가 몇 명 필요한가요?
기준 전환율과 감지하려는 최소 상승폭에 따라 다릅니다. 기준 전환율이 3%일 때 신뢰도 95%, 검정력 80%로 20%의 상대적 상승을 감지하려면 변형당 약 13,900명의 방문자가 필요합니다. 감지하려는 상승폭을 절반으로 줄이면 필요한 표본은 약 4배가 됩니다.
A/B 테스트의 통계적 유의성은 어떻게 계산하나요?
이 계산기는 양측 두 비율 z-검정을 사용합니다. 실제 차이가 없을 때 예상되는 노이즈를 추정하기 위해 두 그룹을 합치고, 관찰된 전환율 차이를 그 표준오차로 나눈 뒤, 그 결과인 z-점수를 p값으로 변환합니다. p값이 0.05 미만이면 95% 신뢰수준에서 유의합니다.
A/B 테스트는 얼마나 오래 진행해야 하나요?
출시 전에 계산한 표본 크기에 도달할 때까지, 그리고 평일과 주말 행동이 모두 포함되도록 최소 1주 동안 실행하세요. 위의 기간 추정치는 총 표본을 테스트 페이지의 주간 트래픽으로 나눈 값입니다.
A/B 테스트가 유의해지는 즉시 중단해도 되나요?
아닙니다. 결과를 반복해서 확인하다가 처음 유의한 결과가 나왔을 때 중단하면 거짓 양성률이 5%를 훨씬 넘게 됩니다. 표본 크기를 미리 정하고 그에 도달했을 때 결과를 읽거나, 순차 검정처럼 지속적인 모니터링을 위해 설계된 방법을 사용하십시오.
B2B 사이트 트래픽이 A/B 테스트를 하기에 부족하면 어떻게 하나요?
더 큰 변화를 테스트하거나, 더 자주 발생하는 전환 이벤트(예약된 데모 대신 데모 페이지 클릭 등)를 선택하거나, 트래픽이 가장 많은 템플릿에서 테스트하거나, 더 긴 테스트 기간을 받아들이세요. 테스트에 한 분기 이상 걸린다면 정성 조사와 홀드아웃 비교를 대신 활용하세요.