---
title: "결과 분석: CheckoutOS 문서 | Chargezen"
description: "A/B 테스트 데이터를 해석하고 결정하는 방법. Chargezen CheckoutOS 문서의 A/B 테스트 섹션에 있어요."
url: "https://chargezen.com/ko/docs/checkoutos/ab-testing/results"
lang: "ko"
updated: "2025-01-16"
---

Canonical URL: https://chargezen.com/ko/docs/checkoutos/ab-testing/results

# 결과 분석

A/B 테스트 데이터를 해석하고 결정하는 방법

마지막 업데이트: 2025-01-16

**결과 분석**에서는 실험을 통해 의미 있는 인사이트를 얻었는지 판단해요. CheckoutOS는 어떤 일이 일어났는지 이해하고 자신 있게 결정할 수 있도록 종합적인 분석을 제공해요.

## 결과 대시보드

실험 결과 대시보드는 다음을 보여줘요.

*   **성과 요약** — 각 변형의 주요 지표
*   **통계적 유의성** — 결과에 대한 신뢰도
*   **개선율 계산** — 변형의 성과가 얼마나 좋아지거나 나빠졌는지 나타내요
*   **표본 크기** — 각 변형에 유입된 트래픽
*   **추세 그래프** — 시간에 따른 성과

## 주요 지표 이해하기

결과 요약

```json
{
  "experiment_results": {
    "status": "significant",
    "winner": "Variant A",
    "runtime_days": 14,
    "total_visitors": 12500,
    "variants": [
      {
        "name": "Control",
        "visitors": 6250,
        "conversions": 312,
        "conversion_rate": "4.99%",
        "revenue": 28750,
        "aov": 92.15
      },
      {
        "name": "Variant A",
        "visitors": 6250,
        "conversions": 387,
        "conversion_rate": "6.19%",
        "revenue": 35418,
        "aov": 91.52,
        "lift": "+24.0%",
        "p_value": 0.003,
        "confidence": "99.7%"
      }
    ]
  }
}
```

## 통계적 유의성

통계적 유의성은 관찰한 차이가 실제 차이일 가능성이 높은지, 우연 때문일 수 있는지를 알려줘요.

#### 유의성 지표

*   95% 신뢰도 — 우승 변형을 결정하는 표준 기준
*   99% 신뢰도 — 신뢰도가 높고 무작위 결과일 가능성이 매우 낮아요
*   P값 < 0.05 — 95% 수준에서 통계적으로 유의해요
*   신뢰 구간 — 실제 값이 있을 가능성이 높은 범위

중간 결과에 따른 조기 중단을 피하세요

결과를 반복해서 확인하다가 유의성이 보일 때 중단하면 거짓 양성 비율이 높아져요. 목표 표본 크기를 정하고 지키세요.

## 결과 해석

### 명확한 우승 변형

결과에 통계적 유의성과 의미 있는 개선이 나타나면 다음을 실행하세요.

1.  우승 변형과 핵심 학습 내용을 기록하세요
2.  우승 변형을 트래픽의 100%에 적용하세요
3.  적용 후 지표를 모니터링해 확인하세요
4.  다음 실험을 계획하세요

### 유의한 차이가 없는 경우

변형의 성과가 비슷하다면 다음을 고려하세요.

*   변경이 영향을 주지 않는다는 사실을 배웠으므로 여전히 가치가 있어요
*   테스트를 충분히 오래 실행했는지 검토하세요
*   더 간단하거나 저렴한 옵션이 나을 수 있어요
*   결과를 기록하고 더 큰 변경을 테스트하세요

### 예상 밖의 결과

변형의 성과가 예상보다 낮다면 다음을 확인하세요.

*   부정적인 결과도 가치가 있으므로 무시하지 마세요
*   효과가 없었던 이유를 조사하세요
*   구현 오류가 있는지 확인하세요
*   적절한 고객층을 테스트했는지 검토하세요

## 세그먼트 분석

고객 세그먼트별로 결과를 나눠 숨은 인사이트를 찾아요.

세그먼트별 세부 결과

```json
{
  "segment_analysis": {
    "by_device": {
      "mobile": { "control": "4.2%", "variant": "6.8%", "lift": "+62%" },
      "desktop": { "control": "5.5%", "variant": "5.4%", "lift": "-2%" }
    },
    "by_customer_type": {
      "new": { "control": "3.1%", "variant": "5.2%", "lift": "+68%" },
      "returning": { "control": "7.8%", "variant": "7.4%", "lift": "-5%" }
    },
    "by_cart_value": {
      "under_50": { "control": "5.1%", "variant": "6.2%", "lift": "+22%" },
      "50_to_100": { "control": "4.9%", "variant": "6.1%", "lift": "+24%" },
      "over_100": { "control": "4.8%", "variant": "6.3%", "lift": "+31%" }
    }
  }
}
```

세그먼트 인사이트

전체적으로 우승 변형이 없더라도 특정 세그먼트에는 큰 개선이 숨어 있을 수 있어요. 데스크톱 사용자가 싫어하는 변경을 모바일 사용자는 좋아할 수 있어요. 세그먼트 분석은 이런 기회를 보여줘요.

## 결과 내보내기

추가 분석을 위해 실험 데이터를 내보내요.

#### 내보내기 옵션

*   CSV 내보내기 — 스프레드시트 분석용 원시 데이터
*   PDF 리포트 — 공유할 수 있는 요약 문서
*   API 접근 — 프로그래밍 방식의 데이터 조회
*   분석 연동 — Google Analytics, Mixpanel 등으로 전송

## 실험 마무리

1

#### 유의성 확인

결과가 통계적 유의성에 도달했는지 확인하세요.

2

#### 결론 기록

가설, 결과, 학습 내용을 기록하세요.

3

#### 우승 변형 결정

우승 변형을 선택하거나 결론을 내릴 수 없다고 판단하세요.

4

#### 전체 적용

우승 변형을 트래픽의 100%에 적용하세요.

5

#### 모니터링

적용 후 지표를 관찰해 개선이 유지되는지 확인하세요.

## 권장 방법

분석 팁

*   **유의성을 기다려요** — 우승 변형을 너무 일찍 결정하지 마세요
*   **여러 지표를 살펴봐요** — 전환율이 전부는 아니에요
*   **세그먼트를 확인해요** — 전체 결과에 세그먼트별 차이가 가려질 수 있어요
*   **비즈니스 영향을 고려해요** — 트래픽이 많으면 작은 개선도 큰 가치를 만들어요
*   **모든 내용을 기록해요** — 실험 지식 기반을 구축하세요

## 관련 주제

[

### 분석 대시보드

CheckoutOS 전체 성과를 추적해요

자세히 보기



](https://chargezen.com/ko/docs/checkoutos/analytics/dashboard)[

### 실험 만들기

다음 A/B 테스트를 설정해요

자세히 보기



](https://chargezen.com/ko/docs/checkoutos/ab-testing/creating)

이 페이지가 도움이 되었나요?

도움이 더 필요하신가요? [고객 지원 문의](https://chargezen.com/ko/docs/checkoutos/troubleshooting/support)