실험 만들기
CheckoutOS에서 A/B 테스트를 설정하는 단계별 가이드
마지막 업데이트: 2025-01-16
CheckoutOS에서 A/B 테스트를 만드는 방법은 간단해요. 이 가이드에서는 가설 수립부터 시작까지 실험을 설정하는 과정을 안내해요.
시작 전
테스트 전 체크리스트
- 가설 정의 — 어떤 결과를 예상하나요?
- 변수 하나 선택 — 한 번에 하나의 변경 사항을 테스트하세요
- 성공 지표 설정 — 무엇을 측정할 건가요?
- 표본 크기 추정 — 테스트를 얼마나 오래 실행해야 하나요?
- 관계자 동의 확보 — 모두가 테스트에 동의하는지 확인하세요
실험 만들기
1
A/B 테스트로 이동
CheckoutOS → A/B Testing → Create Experiment로 이동하세요.
2
실험 이름 지정
"추가 판매 제목 테스트 - 2025년 1월"처럼 설명이 담긴 이름을 사용하세요.
3
테스트 대상 선택
추가 판매 제안, 결제 확장 기능, 번들 등 요소를 선택하세요.
4
변형 만들기
대조군(현재)과 변형(새로운) 경험을 설정하세요.
5
트래픽 분할 설정
방문자를 변형 사이에 어떻게 나눌지 결정하세요.
6
성공 지표 설정
전환율, 평균 주문 금액 등 기본 지표를 선택하세요.
7
시작
설정을 검토하고 실험을 시작하세요.
실험 유형
추가 판매 제안 테스트
추가 판매 상품, 할인, 메시지를 다르게 테스트해요.
추가 판매 A/B 테스트
{
"experiment": {
"name": "Premium Product Upsell Test",
"type": "upsell_offer",
"variants": [
{
"name": "Control",
"weight": 50,
"offer": {
"product_id": "standard-upsell",
"discount": "15%",
"headline": "Add this to your order"
}
},
{
"name": "Premium Offer",
"weight": 50,
"offer": {
"product_id": "premium-upsell",
"discount": "20%",
"headline": "Exclusive: Save 20% on this upgrade"
}
}
],
"success_metric": "upsell_acceptance_rate"
}
}가격 테스트
할인 금액이나 가격 전략을 다르게 테스트해요.
가격 A/B 테스트
{
"experiment": {
"name": "Discount Format Test",
"type": "pricing",
"variants": [
{
"name": "Percentage",
"weight": 50,
"discount": {
"type": "percentage",
"value": 20,
"display": "20% OFF"
}
},
{
"name": "Fixed Amount",
"weight": 50,
"discount": {
"type": "fixed",
"value": 10,
"display": "$10 OFF"
}
}
],
"success_metric": "revenue_per_visitor"
}
}배치 테스트
결제 흐름에서 제안이 표시되는 위치를 테스트해요.
배치 A/B 테스트
{
"experiment": {
"name": "Upsell Placement Test",
"type": "placement",
"variants": [
{
"name": "Post-Purchase",
"weight": 50,
"placement": "post_purchase_page"
},
{
"name": "Thank You Page",
"weight": 50,
"placement": "thank_you_page"
}
],
"success_metric": "conversion_rate"
}
}변형 설정
각 변형에서 다음을 맞춤 설정할 수 있어요.
제품 옵션 선택
- 표시할 상품 또는 제안
- 할인 금액과 유형
- 제목과 설명 문구
- 버튼 문구와 색상
- 이미지 또는 미디어
- 표시 위치
- 제안이 나타나는 시점
변형 간 차이를 분명히 하세요
변형 간에 의미 있는 차이가 있어야 해요. 14% 할인과 15% 할인을 비교해도 실제 행동으로 옮길 만한 인사이트를 얻기 어려워요.
다변량 테스트
고급 사용자를 위해 CheckoutOS는 여러 변수를 동시에 테스트하는 다변량 테스트를 지원해요.
다변량 테스트
{
"experiment": {
"name": "Headline + Discount MVT",
"type": "multivariate",
"factors": [
{
"name": "headline",
"levels": ["Save Big!", "Exclusive Offer", "Don't Miss Out"]
},
{
"name": "discount",
"levels": ["10%", "15%", "20%"]
}
],
"success_metric": "upsell_acceptance_rate"
}
}표본 크기 주의 사항
다변량 테스트에는 훨씬 큰 표본이 필요해요. 위 예시에는 9개 조합(3 x 3)이 있으므로 통계적 유의성을 얻으려면 트래픽이 9배 필요해요.
실험 일정 설정
실험이 실행되는 시점을 제어해요.
예약 실험
{
"schedule": {
"start_date": "2025-02-01T00:00:00Z",
"end_date": "2025-02-28T23:59:59Z",
"auto_conclude": true,
"minimum_runtime_days": 14,
"minimum_conversions": 500
}
}권장 방법
실험 설정 팁
- 가설을 먼저 작성해요 — “X가 Y를 Z% 개선할 것이라고 예상해요”처럼 작성하세요
- 설명이 담긴 이름을 사용해요 — 나중에 도움이 돼요
- 50/50 분할로 시작해요 — 트래픽을 균등하게 배분하면 가장 빠르게 결과를 얻을 수 있어요
- 최소 실행 기간을 정해요 — 중간 결과를 보고 일찍 중단하지 마세요
- 모든 내용을 기록해요 — 판단 근거와 결과를 기록하세요
관련 주제
이 페이지가 도움이 되었나요?
도움이 더 필요하신가요? 고객 지원 문의