이메일 A/B 테스트: 무엇을 테스트하고, 얼마나 기다리고, 이긴 버전을 어떻게 고를까

이메일을 A/B 테스트하려면 같은 대상에서 무작위로 나눈 그룹에 두 개 이상의 버전을 보내고, 한 번에 하나만 바꾸고, 클릭은 몇 시간, 주문은 하루쯤 기다린 뒤 이긴 버전을 나머지 모두에게 보내세요. 제목과 혜택부터 시작하고, 가능하면 클릭이나 주문으로 판단하세요.

보내는 캠페인 하나하나가 고객이 무엇에 반응하는지 배울 기회예요. A/B 테스트는 그 기회를 답으로 바꿔요. 메시지의 두 개 이상 버전을 수신자 목록의 일부에 보내고, 기다린 뒤, 가장 좋은 결과를 낸 버전을 나머지 모두에게 보내는 거예요. 매주 하면 추측이 아니라 근거로 이메일이 나아져요.

이 가이드는 먼저 테스트할 것, 테스트 크기, 기다릴 시간, 이긴 버전을 고를 수치, 결과를 무의미하게 만드는 실수를 다뤄요.

A/B 테스트(또는 분할 테스트)는 메시지 하나의 여러 버전을 같은 대상에서 무작위로 나눈 그룹에 보내고 클릭 같은 결과 하나를 비교해요. 그룹이 무작위이고 메시지를 같은 시간에 받으므로 결과 차이는 대상이 아니라 메시지에서 나와요. “테스트 후 발송” 방식에서는 테스트가 목록의 일부에 가고 이긴 버전이 나머지에 가요.

가장 많은 사람의 행동을 바꾸는 것부터 시작하고, 무엇이 차이를 만들었는지 알 수 있게 한 번에 하나만 테스트하세요.

• 오픈율: 제목, 프리헤더, 발신자 이름에만 쓰고 주의해서 읽으세요. Apple의 Mail Privacy Protection은 기본적으로 이메일 내용을 백그라운드에서 내려받기 때문에(2026년 10월 19일 확인) 많은 Apple Mail 오픈이 실제로 읽었는지와 상관없이 기록돼요.
• 클릭률: 콘텐츠, 이미지, 버튼에 가장 믿을 만한 신호예요. 링크 추적을 켜야 해요.
• 주문율: 혜택처럼 구매에 영향을 줘야 하는 모든 요소를 테스트할 때 가장 좋지만, 버전을 구분할 만큼 주문이 충분해야 해요. 이 지표는 얼마나 썼는지가 아니라 주문한 사람 수를 세어요.

측정하는 행동을 하는 사람이 적을수록 테스트가 더 커야 해요. 100명 중 2명이 클릭한다면 테스트 그룹이 버전당 200명이면 버전마다 클릭이 약 4번 나올 뿐이고, 그 “이긴 버전”은 운이에요. 대략적인 기준으로 오픈과 클릭은 버전당 최소 몇백 명을, 주문으로 고를 때는 훨씬 더 많은 사람을 목표로 하세요.

• 큰 수신자 목록: 대상의 10%에서 20%로 테스트하고 이긴 버전을 나머지에게 보내세요.
• 중간 수신자 목록: 각 버전에 충분한 사람이 가도록 30%에서 50%처럼 더 큰 비율로 테스트하세요.
• 작은 수신자 목록: 목록 전체를 버전별로 나누고, 결과를 이번 발송의 승자가 아니라 다음을 위한 교훈으로 삼으세요. 결정하기 전에 같은 테스트를 여러 캠페인에서 반복하세요.

클릭 대부분은 발송 후 처음 몇 시간 안에 일어나고, 주문은 더 오래 걸려요. 오픈이나 클릭으로 고를 때는 보통 몇 시간이면 충분하고, 주문은 하루쯤 주세요. 때를 놓친 뒤에 이긴 버전이 도착할 만큼 오래 기다리지는 마세요. 오후 11시에 끝나는 테스트는 이긴 버전을 오후 11시에 모두에게 보내요.

• 작은 테스트의 작은 차이는 잡음이에요. 버전 B가 클릭 31번, 버전 A가 28번이라면 아직 배운 것이 없어요.
• 접근 방식 전체를 바꾸기 전에 여러 캠페인에서 반복되는 차이를 찾으세요.
• 나쁜 면도 확인하세요. 이겼더라도 수신 거부가 두 배로 늘었다면 이긴 제목이 아니에요.
• 모든 테스트와 결과를 적어 두세요. 간단한 공유 시트가 내 플레이북이 돼요.

• 여러 가지를 한 번에 바꾸기: 제목, 이미지, 혜택이 모두 다르면 어떤 이메일이 이겼는지는 알아도 이유는 몰라요. 많은 조합을 한 번에 테스트하는 다변량 테스트에는 훨씬 큰 수신자 목록이 필요해요.
• 혜택 테스트에서 오픈으로 이긴 버전 고르기: 제목은 오픈을, 혜택은 주문을 움직여요. 바꾼 것을 측정하세요.
• 치우친 일부 대상으로 테스트하기: 모든 버전은 같은 대상에서 무작위로 고른 일부에게 같은 시간에 가야 해요.
• 일찍 멈추기: 초반 우세는 사라지는 경우가 많아요. 시작하기 전에 테스트 기간을 정하세요.
• 다시 테스트하지 않기: 고객은 변해요. 지난봄에 이긴 제목 스타일이 지금은 이기지 못할 수 있어요.

문자도 테스트할 수 있고, 두 가지가 달라요. 휴대폰은 문자를 읽었는지 보고하지 않아 오픈이 없으니 클릭이나 주문으로 이긴 버전을 고르세요. 또한 문자는 파트당 청구되므로 버전 길이를 같게 유지하세요. 그렇지 않으면 비용까지 테스트하는 셈이에요.

• 혜택 먼저 vs 제품 먼저
• 고객 이름 포함 vs 미포함
• 질문(“아직 그 부츠가 마음에 남아 있나요?”) vs 평서문
• 단축 링크를 끝에 vs 가운데에

자동화도 테스트할 가치가 있어요. 매일 돌아가기 때문이에요. 새 구독자를 두 가지 환영 혜택으로, 또는 결제 이탈 알림 전 두 가지 대기 시간으로 무작위로 나누고, 몇 주에 걸쳐 주문을 비교하세요.

SmartyTap 캠페인에는 이메일과 문자에 쓸 수 있는, 이긴 버전을 자동으로 고르는 A/B 테스트가 있어요.

• 최대 일곱 가지 버전: 각 버전은 온전한 이메일이라 제목, 프리헤더, 콘텐츠를 바꿀 수 있어요. 문자는 변형을 복제해 문구를 바꾸세요.
• 이긴 버전을 고를 지표 선택: 이메일은 오픈율, 클릭률, 주문율 중에서 고르고, 문자는 주문율을 써요.
• 테스트 크기와 기간: 대상의 10%에서 100%로, 1시간에서 72시간 동안 테스트해요. 100%이면 모두가 한 버전을 받고 이긴 버전은 발송되지 않아요.
• 자동 또는 수동 선택: 테스트가 끝나면 가장 좋은 버전이 나머지 모두에게 가고, 그 전에 한 버전을 모두에게 보낼 수도 있어요. 결과가 같으면 버전 A가 발송돼요.
• 자동화의 무작위 분할: 조건 분기로 경로마다 무작위 표본을 보내 자동화의 두 경로를 서로 비교할 수 있어요.

SmartyTap은 버전 전체를 비교하고, 다변량 테스트는 실행하지 않아요. 단계별 설정은 A/B 테스트 문서에 있어요.

용어집: A/B 테스트, 홀드아웃 그룹, 클릭률, SMS 캠페인. 다음 글: 이메일 마케팅 벤치마크 해설, 이메일 세그먼트 예시, 블랙 프라이데이 이메일·SMS 체크리스트.

오픈이나 클릭으로 이긴 버전을 고른다면 보통 몇 시간이면 충분해요. 활동 대부분이 발송 직후에 일어나기 때문이에요. 주문으로 고른다면 하루쯤 주세요. 테스트를 시작하기 전에 기간을 정하세요.

제목과 혜택부터 시작하세요. 행동을 가장 많이 바꾸기 때문이에요. 그다음 메인 이미지, 행동 유도 문구, 길이를 테스트하세요. 한 번에 하나만 바꾸세요.

오픈율은 제목 테스트에서만, 그것도 주의해서 쓰세요. Apple Mail Privacy Protection이 이메일 내용을 백그라운드에서 내려받아 오픈이 부풀려져요. 클릭률과 주문율이 더 믿을 만해요.

A/B 테스트는 메시지의 버전 전체를 비교해요. 다변량 테스트는 여러 변경 사항과 그 조합을 한 번에 측정하므로, 분명한 답을 얻으려면 훨씬 큰 대상이 필요해요.