Web GuideA/B 테스트실험 설계전환 개선
A/B 테스트 설계 기초
'이게 더 나을 것 같다'는 의견을 숫자로 확인하는 방법입니다.
다만 방문자가 적으면 결과를 믿을 수 없습니다. 조건을 확인하고 시작해야 합니다.
01무엇을 하는가
같은 페이지의 두 가지 버전을 만들어 방문자에게 절반씩 보여주고, 어느 쪽이 목표를 더 잘 달성하는지 비교합니다.
의견이 갈릴 때 논쟁 대신 데이터로 결정할 수 있습니다.
STEP 01
가설 수립
무엇을 왜 바꾸나
STEP 02
두 버전 준비
A와 B
STEP 03
절반씩 노출
무작위 배분
STEP 04
결과 비교
전환율 차이
02할 수 있는 조건
방문자와 전환이 일정 수준 이상이어야 의미 있는 결과가 나옵니다. 월 방문자가 수백 명인 사이트에서는 차이를 판별하기 어렵습니다.
조건이 안 되면 A/B 테스트보다 사용성 테스트나 히트맵이 더 유용합니다.
A/B 테스트가 가능한 경우
방문자가 충분히 많음 · 전환이 정기적으로 발생 · 측정 가능한 목표가 명확 · 몇 주간 실험을 유지할 수 있음
다른 방법이 나은 경우
방문자가 적음 · 전환이 드물게 발생 · 결과가 나오기까지 몇 달 걸림 · 사용성 테스트나 히트맵을 먼저
03한 번에 하나만 바꾼다
버튼 색과 문구와 위치를 동시에 바꾸면, 결과가 좋아져도 무엇 때문인지 알 수 없습니다. 하나씩 바꿔야 원인을 알 수 있습니다.
다만 전면 개편처럼 여러 요소를 함께 바꾸는 실험도 있습니다. 그 경우 '어느 쪽이 나은가'만 알 수 있고 이유는 모릅니다.
01
가설을 먼저 적는다
'버튼 문구를 바꾸면 클릭률이 오를 것이다'.
02
하나만 변경
여러 개를 바꾸면 원인을 알 수 없습니다.
03
목표 지표 정하기
클릭률인지 문의 완료율인지. 하나로 정합니다.
04
기간 정하기
시작 전에 언제까지 할지 정합니다. 중간에 멈추지 않습니다.
05
결과 기록
성공이든 실패든 기록합니다. 실패도 정보입니다.
04흔한 실수
성급하게 결론을 내리는 것이 가장 흔한 실수입니다. 며칠 만에 한쪽이 앞서는 것처럼 보여도 우연일 수 있습니다.
또 요일이나 계절에 따라 방문자 성격이 달라지므로 최소한 일주일 단위로 봐야 합니다.
성급한 종료며칠 만에 결론 내리면 우연을 실력으로 착각합니다.
기간이 짧음최소 일주일. 요일별 차이를 상쇄해야 합니다.
여러 실험 동시 진행서로 영향을 주어 결과를 해석할 수 없습니다.
지표가 여러 개이것저것 보다 유리한 숫자만 고르게 됩니다.
실패를 안 기록효과가 없었다는 것도 중요한 정보입니다.
CHECK POINT
□ 방문자와 전환이 A/B 테스트를 할 만큼 충분한가
□ 가설을 문서로 적었는가
□ 한 번에 하나만 바꾸는가
□ 목표 지표를 하나로 정했는가
□ 시작 전에 기간을 정했는가
□ 최소 일주일 이상 진행하는가
□ 여러 실험을 동시에 돌리고 있지 않은가
□ 결과를 성공·실패 모두 기록하는가
#A/B 테스트#실험 설계#전환 개선#가설#지표#통계#개선 프로세스#홈페이지 디자인#웹비스타#홈페이지 제작