실험 결과 해석 주의점

며칠 보고 결론 냅니다.

몇십 건으로 판단.

좋을 때 멈춥니다.

좋은 것만 찾아 인용.

시즌이나 광고 영향.

한 번 결과를 확정.

표본 크기

충분한 건수인가.

기간

주간 주기를 포함했는가.

차이 크기

실무적으로 의미 있는가.

불확실성

우연일 가능성은.

집단 균형

두 집단이 비슷했는가.

외부 사건

기간 중 특별한 일이 있었는가.

실패를 감출 때

좋은 결과만 보고 · 같은 실수 반복 · 실험 자체를 꺼림

실패를 공유할 때

무엇이 안 통했는지 기록 · 학습 축적 · 실험 횟수 증가 · 개선 가속

□  표본이 충분한가

□  최소 한 주기 이상 진행했는가

□  차이가 실무적으로 의미 있는 크기인가

□  유리한 시점에 중단하지 않았는가

□  여러 지표 중 좋은 것만 고르지 않았는가

□  기간 중 외부 요인이 없었는가

□  차이 없음도 결과로 기록했는가

□  실패 사례를 공유하는가