결과 분석: CheckoutOS 문서

결과 분석에서는 실험을 통해 의미 있는 인사이트를 얻었는지 판단해요. CheckoutOS는 어떤 일이 일어났는지 이해하고 자신 있게 결정할 수 있도록 종합적인 분석을 제공해요.

결과 대시보드

실험 결과 대시보드는 다음을 보여줘요.

성과 요약 — 각 변형의 주요 지표
통계적 유의성 — 결과에 대한 신뢰도
개선율 계산 — 변형의 성과가 얼마나 좋아지거나 나빠졌는지 나타내요
표본 크기 — 각 변형에 유입된 트래픽
추세 그래프 — 시간에 따른 성과

주요 지표 이해하기

결과 요약

{
  "experiment_results": {
    "status": "significant",
    "winner": "Variant A",
    "runtime_days": 14,
    "total_visitors": 12500,
    "variants": [
      {
        "name": "Control",
        "visitors": 6250,
        "conversions": 312,
        "conversion_rate": "4.99%",
        "revenue": 28750,
        "aov": 92.15
      },
      {
        "name": "Variant A",
        "visitors": 6250,
        "conversions": 387,
        "conversion_rate": "6.19%",
        "revenue": 35418,
        "aov": 91.52,
        "lift": "+24.0%",
        "p_value": 0.003,
        "confidence": "99.7%"
      }
    ]
  }
}

통계적 유의성

통계적 유의성은 관찰한 차이가 실제 차이일 가능성이 높은지, 우연 때문일 수 있는지를 알려줘요.

유의성 지표

95% 신뢰도 — 우승 변형을 결정하는 표준 기준
99% 신뢰도 — 신뢰도가 높고 무작위 결과일 가능성이 매우 낮아요
P값 < 0.05 — 95% 수준에서 통계적으로 유의해요
신뢰 구간 — 실제 값이 있을 가능성이 높은 범위

중간 결과에 따른 조기 중단을 피하세요

결과를 반복해서 확인하다가 유의성이 보일 때 중단하면 거짓 양성 비율이 높아져요. 목표 표본 크기를 정하고 지키세요.

결과 해석

명확한 우승 변형

결과에 통계적 유의성과 의미 있는 개선이 나타나면 다음을 실행하세요.

우승 변형과 핵심 학습 내용을 기록하세요
우승 변형을 트래픽의 100%에 적용하세요
적용 후 지표를 모니터링해 확인하세요
다음 실험을 계획하세요

유의한 차이가 없는 경우

변형의 성과가 비슷하다면 다음을 고려하세요.

변경이 영향을 주지 않는다는 사실을 배웠으므로 여전히 가치가 있어요
테스트를 충분히 오래 실행했는지 검토하세요
더 간단하거나 저렴한 옵션이 나을 수 있어요
결과를 기록하고 더 큰 변경을 테스트하세요

예상 밖의 결과

변형의 성과가 예상보다 낮다면 다음을 확인하세요.

부정적인 결과도 가치가 있으므로 무시하지 마세요
효과가 없었던 이유를 조사하세요
구현 오류가 있는지 확인하세요
적절한 고객층을 테스트했는지 검토하세요

세그먼트 분석

고객 세그먼트별로 결과를 나눠 숨은 인사이트를 찾아요.

세그먼트별 세부 결과

{
  "segment_analysis": {
    "by_device": {
      "mobile": { "control": "4.2%", "variant": "6.8%", "lift": "+62%" },
      "desktop": { "control": "5.5%", "variant": "5.4%", "lift": "-2%" }
    },
    "by_customer_type": {
      "new": { "control": "3.1%", "variant": "5.2%", "lift": "+68%" },
      "returning": { "control": "7.8%", "variant": "7.4%", "lift": "-5%" }
    },
    "by_cart_value": {
      "under_50": { "control": "5.1%", "variant": "6.2%", "lift": "+22%" },
      "50_to_100": { "control": "4.9%", "variant": "6.1%", "lift": "+24%" },
      "over_100": { "control": "4.8%", "variant": "6.3%", "lift": "+31%" }
    }
  }
}

세그먼트 인사이트

전체적으로 우승 변형이 없더라도 특정 세그먼트에는 큰 개선이 숨어 있을 수 있어요. 데스크톱 사용자가 싫어하는 변경을 모바일 사용자는 좋아할 수 있어요. 세그먼트 분석은 이런 기회를 보여줘요.

결과 내보내기

추가 분석을 위해 실험 데이터를 내보내요.

내보내기 옵션

CSV 내보내기 — 스프레드시트 분석용 원시 데이터
PDF 리포트 — 공유할 수 있는 요약 문서
API 접근 — 프로그래밍 방식의 데이터 조회
분석 연동 — Google Analytics, Mixpanel 등으로 전송

실험 마무리

유의성 확인

결과가 통계적 유의성에 도달했는지 확인하세요.

결론 기록

가설, 결과, 학습 내용을 기록하세요.

우승 변형 결정

우승 변형을 선택하거나 결론을 내릴 수 없다고 판단하세요.

전체 적용

우승 변형을 트래픽의 100%에 적용하세요.

모니터링

적용 후 지표를 관찰해 개선이 유지되는지 확인하세요.

권장 방법

분석 팁

유의성을 기다려요 — 우승 변형을 너무 일찍 결정하지 마세요
여러 지표를 살펴봐요 — 전환율이 전부는 아니에요
세그먼트를 확인해요 — 전체 결과에 세그먼트별 차이가 가려질 수 있어요
비즈니스 영향을 고려해요 — 트래픽이 많으면 작은 개선도 큰 가치를 만들어요
모든 내용을 기록해요 — 실험 지식 기반을 구축하세요

결과 분석