A/B 테스트
SmartyTap 이메일 또는 문자를 최대 7가지 버전으로 테스트하고 열람률, 클릭률, 주문율로 최적 버전을 선택해 나머지 수신자에게 보내세요.
마지막 업데이트: 2026-10-19
캠페인은 고객이 무엇에 반응하는지 배우는 기회예요. A/B 테스트는 작은 그룹에 서로 다른 메시지 버전을 보내고 기다린 뒤, 성과가 가장 좋은 버전을 나머지 고객에게 보내요. 다음 캠페인은 추측 대신 효과가 있었던 결과를 바탕으로 시작해요.
이메일 테스트하기
설정 열기
캠페인에서 이메일을 선택하고 Campaign setup을 연 뒤, A/B test에서 Create A/B test를 누르세요.
버전 추가하기
Add version을 누르고 Version name을 정한 뒤 Editing으로 버전을 전환하세요. 각 버전은 완전한 이메일이므로 제목, 미리보기 문구, 내용을 바꿀 수 있어요. 최대 7개까지 만들 수 있어요.
테스트 설정하기
아래 설명에 따라 Test size, Pick the winner by, Test length (hours)를 선택하세요.
예약
평소처럼 캠페인을 검토하고 예약하세요. 테스트 중에는 메시지에 A/B test running이 표시돼요.
SMS 테스트하기
SMS 편집기에서 Create A/B test를 누른 다음 Duplicate variation을 눌러 문구를 바꾸세요. 테스트 설정은 이메일과 같아요.
테스트 설정
| 설정 | 기능 | 초기값 |
|---|---|---|
| Test size | 테스트 중 버전을 받는 대상의 비율로, 10%부터 100%까지예요. 나머지는 우승 버전을 받아요. | 20% |
| Pick the winner by | 이메일은 Open rate, Click rate, Placed order rate를 사용해요. SMS는 Placed order rate를 사용해요. | 직접 선택 |
| Test length (hours) | 우승 버전을 선택하기 전 대기 시간으로, 1~72시간이에요. | 열람과 클릭은 6시간, 주문은 24시간 |
제목을 테스트할 때는 열람률을 사용하세요. 내용이나 제안은 클릭률을 사용하고, 버전 차이를 구분할 만큼 주문이 충분하면 주문율을 사용하세요. 주문율은 버전을 받은 뒤 주문한 사람을 세며 매출이 아니에요. 클릭률을 사용하려면 Track link clicks를 켜야 해요.
우승 버전 발송 방식
- 테스트 시간이 끝나면 참여하지 않은 모든 고객에게 가장 좋은 버전을 보내요. 기다리는 고객은 Waiting for test results로 표시돼요.
- 결과가 같으면 나머지 고객에게 Version A를 보내요.
- 일찍 결정하려면 Campaign performance에서 A/B test results를 찾아 원하는 버전의 Send this version to everyone else를 누르세요. 마음이 바뀌면 Keep testing을 선택하세요.
- 테스트 비율이 100%면 모두 하나의 버전을 받고 우승 버전은 따로 보내지 않아요. 전체 대상을 나눠 버전을 비교할 때 사용하세요.
우승 버전을 선택하는 테스트는 한 시점에 보내므로 Each recipient's timezone이 꺼져요. 특정 시간대를 선택하거나, 테스트 비율을 100%로 설정해 버전을 나누면서 각 수신자의 현지 시간에 보내세요.
자주 묻는 질문
여러 가지를 한꺼번에 테스트할 수 있나요?
각 버전은 원하는 만큼 다르게 만들 수 있지만 SmartyTap은 버전 전체를 비교해요. 변경 사항별 영향을 따로 측정하는 다변량 테스트는 하지 않아요. 무엇이 차이를 만들었는지 알고 싶다면 한 번에 하나씩 바꾸세요.
테스트 규모는 어느 정도가 좋나요?
각 버전이 몇백 명에게 도달할 만큼 충분해야 해요. 목록이 작으면 테스트 비율을 높이거나 100%로 나누는 편이 더 많은 정보를 줘요.
두 버전을 받는 사람도 있나요?
아니요. 테스트 그룹은 한 버전만 받고, 그룹 밖의 고객만 우승 버전을 받아요. 같은 캠페인의 메시지는 Smart Sending에도 포함되지 않아요.
관련 내용
도움이 더 필요하신가요? 고객 지원 문의