실험 계획 템플릿은 대부분의 A/B 테스트가 건너뛰는 결정을 강제합니다. 정확히 무슨 일이 일어날 것으로 예상하는지, 어떤 단일 지표로 승자를 정할지, 방문자가 몇 명 필요한지, 언제 중단해도 되는지입니다. 실행 전에 이를 적어 두는 것이 노이즈를 결과로 오해하지 않기 위한 가장 저렴한 예방책입니다. 아래 템플릿은 테스트당 한 페이지입니다. 문서 도구에 복사하거나, 스프레드시트로 테스트 백로그를 관리하려면 템플릿을 CSV로 다운로드하십시오.
테스트 하나에 몇 주가 걸릴 수 있는 B2B 트래픽 수준에 맞게 설계되었습니다. 테스트를 계획해 본 적이 없다면, 트래픽이 적을 때 무엇을 테스트할 가치가 있는지 먼저 전환율 최적화 가이드를 읽어 보세요.
A/B 테스트 계획 템플릿
테스트를 시작하기 전에 모든 행을 채우세요. 빈 행은 데이터를 본 뒤에 내리게 될 결정이며, 계획은 바로 그것을 막기 위해 존재합니다.
| 섹션 | 필드 | 작성할 내용 |
|---|---|---|
| 1. 맥락 | 테스트 이름과 ID | 짧고 검색 가능한 이름, 예: “DEMO-07 5개 필드 폼” |
| 담당자 | 테스트를 시작하고, 모니터링하고, 보고하는 한 사람 | |
| 뒷받침하는 근거 | 이 테스트를 선택하게 만든 데이터, 녹화, 고객의 말 | |
| 2. 가설 | 변경 | 대조군과 변형 간에 정확히 무엇이 다른지 |
| 예상 효과 | 어떤 지표가 어느 방향으로 움직이는지 | |
| 이유 | 그렇게 될 것이라고 생각하는 이유를 구매자 행동에 관한 한 문장으로 | |
| 3. 지표 | 핵심 지표 | 결과를 결정하는 단 하나의 지표와 정확한 이벤트 정의 |
| 가드레일 지표 | 나빠져서는 안 되는 지표(리드 품질, 이탈률, 페이지 속도) | |
| 보조 지표 | 흥미롭지만 결정적이지 않음(스크롤 깊이, 요금 페이지 클릭) | |
| 4. 오디언스 | 페이지 | 테스트에 포함된 URL |
| 포함 대상 | 모든 방문자, 또는 유료 트래픽이나 기업 규모 구간 같은 세그먼트 | |
| 제외 대상 | 기존 고객, 내부 트래픽, 봇 | |
| 트래픽 분할 | 두 그룹이면 보통 50/50 | |
| 5. 통계 | 기준 전환율 | 이 페이지와 이 지표의 최근 4~8주 |
| 최소 검출 효과(MDE) | 실행할 가치가 있는 최소 상대 개선폭 | |
| 신뢰도와 검정력 | 보통 95%와 80% | |
| 변형당 표본 크기 | A/B 테스트 계산기에서 | |
| 계획 기간 | 표본 크기를 주간 트래픽으로 나눈 뒤 주 단위로 올림 | |
| 6. 규칙 | 중단 규칙 | 결과를 판단할 시점(표본 도달 시, 절대 그 이전은 안 됨) |
| 중단 기준 | 조기 중단 기준(변형 오류, 가드레일 지표 하락) | |
| 판단 기준 | 결과가 승리, 패배, 판단 불가일 때 각각 배포할 내용 | |
| 7. 결과 | 실행 기간 | 시작일과 종료일 |
| 그룹별 결과 | 방문자, 전환, 전환율 | |
| 유의성과 구간 | 차이의 p값과 신뢰 구간 | |
| 결정과 학습 | 무엇을 배포했고, 그것이 구매자에 대해 무엇을 알려 주었는지 |
작성 방법
- 아이디어가 아니라 근거에서 출발하세요. 1번 항목은 이 테스트가 왜 존재하는지 묻습니다. 좋은 근거: 이탈이 유난히 큰 퍼널 단계, 세션 녹화, 영업 통화 메모, CRO 감사 체크리스트의 발견 사항. “CEO가 새 히어로를 원한다”는 근거가 아닙니다.
- 반증 가능한 가설을 쓰세요. "데모 양식을 9개 필드에서 5개로 줄이면 방문자당 데모 제출이 늘어날 것이다. 구매자는 제품을 보기도 전에 예산을 물으면 이탈하기 때문이다." 이유 없는 가설은 실패했을 때 아무것도 가르쳐 주지 않습니다.
- 주요 지표를 하나만 고르세요. 세 개를 고르면 그중 하나는 우연히 움직일 가능성이 높고, 그것을 성공이라고 부르고 싶어질 것입니다.
- 만들기 전에 테스트 규모를 계산하세요. 기준 전환율과 최소 검출 효과를 계산기에 넣으세요. 테스트에 한 분기 이상 걸린다면 계획을 바꾸세요. 더 큰 변경을 테스트하거나, 더 자주 발생하는 지표를 쓰거나, 트래픽이 더 많은 페이지를 고르세요. 트레이드오프는 A/B 테스트 표본 크기 가이드에서 설명합니다.
- 판단 기준을 미리 합의하십시오. '판단 불가'가 무엇을 의미하는지 정하십시오. 많은 B2B 팀은 결과가 비슷하면 더 단순한 변형안을 배포하는데, 실행 전에 문서로 정해 둔다면 좋은 규칙입니다.
작성 예시 계획(설명용)
가상의 B2B 소프트웨어 회사에 대한 설명용 수치입니다.
| 필드 | 진입 |
|---|---|
| 테스트 이름 | DEMO-07 필드 5개짜리 데모 양식 |
| 근거 | 양식 분석 결과 '예산' 필드에서 이탈이 가장 많고, 영업팀은 첫 통화에서 이 정보를 쓰지 않는다고 확인 |
| 가설 | 구매자는 제품을 보기 전에 예산을 공유하지 않으므로, 폼을 9개 필드에서 5개로 줄이면 방문자당 데모 제출이 늘어남 |
| 핵심 지표 | 데모 폼 제출 수 ÷ /demo 순 방문자 수 |
| 가드레일 | 영업팀이 검증된 리드로 수락한 제출 비율이 4분의 1 이상 떨어져서는 안 됨 |
| 오디언스 | 로그인한 고객과 내부 IP를 제외한 /demo의 모든 방문자, 50/50 분할 |
| 기준선 | /demo 방문자의 8%가 제출 |
| 최소 검출 효과(MDE) | 상대 20%(8.0%에서 9.6%) |
| 표본 크기 | 신뢰수준 95%, 검정력 80%에서 변형안당 약 4,900명 |
| 기간 | /demo는 주당 약 1,500명이 방문하므로 총 약 9,800명에 7주가 걸립니다 |
| 중단 규칙 | 7주가 완전히 지나거나 두 그룹 모두 방문자 4,900명을 넘는 시점 중 늦은 쪽에 결과 판독 |
| 중단 기준 | 처음 2주 동안 변형 양식 제출이 실패하거나 적격 비율이 절반으로 떨어지면 중단 |
| 판단 기준 | 승리: 5개 필드 배포. 패배: 9개 유지. 불확실: 더 단순하고 데이터 보강이 공백을 메우므로 5개 필드 배포 |
테스트 백로그
CSV 다운로드에는 전체 계획을 작성하기 전에 테스트 순위를 매길 수 있는 백로그 시트도 포함되어 있습니다. 아이디어 하나당 한 행입니다.
| ID | 페이지 | 아이디어 | 근거 | 영향도(1~3) | 신뢰도(1~3) | 용이성(1~3) | 점수 | 필요한 주 수 | 상태 |
|---|---|---|---|---|---|---|---|---|---|
| DEMO-07 | /demo | 5개 필드 폼 | 필드별 이탈 | 3 | 2 | 3 | 8 | 7 | 계획 |
| HOME-03 | / | 업종별 히어로 | ICP 방문자의 이탈률이 더 높음 | 3 | 2 | 2 | 7 | 10 | 아이디어 |
점수는 높지만 12주 이상 걸리는 아이디어는 고전적인 A/B 테스트보다 홀드아웃 비교나 개인화 규칙에 더 적합합니다. 각 방법이 맞는 경우는 A/B 테스트 vs 다변량 테스트를 참고하세요.
자주 묻는 질문
A/B 테스트 계획에는 무엇이 들어가야 하나요?
근거가 있는 가설, 정확히 정의된 핵심 지표 하나, 가드레일 지표, 대상과 분할 비율, 기준 전환율, 최소 검출 효과, 표본 크기, 기간, 그리고 중단·폐기·결정 규칙입니다. 결과 섹션을 추가하면 계획서가 그대로 테스트 기록이 됩니다.
실험 계획서와 테스트 브리프의 차이는 무엇인가요?
두 용어는 혼용됩니다. 일부 팀은 디자이너에게 보내는 디자인 및 문구 요청을 '브리프'로, 통계적 설정을 '계획'으로 부릅니다. 이 템플릿은 둘 다 다루며, 크리에이티브 변경 사항은 가설 섹션에 기술합니다.
B2B A/B 테스트는 얼마나 오래 진행해야 하나요?
미리 계산한 표본 크기에 도달할 때까지, 그리고 최소 1주 전체 기간 동안 진행하십시오. B2B 페이지는 4~12주가 필요한 경우가 많습니다. 계산 결과가 한 분기보다 길다면 일찍 중단하지 말고 테스트를 바꾸십시오.
작은 테스트마다 계획서를 써야 하나요?
네, 다만 버튼 문구 테스트라면 계획은 다섯 줄이면 됩니다. 중단 규칙과 주요 지표는 절대 빼면 안 되는 두 가지입니다. 무작위 변동을 승리로 착각하지 않게 해 주는 것이 바로 이 둘입니다.