---
title: "AI 고객 서비스 QA 체크리스트 | Chargezen"
description: "고객과 대화하기 전에 AI 에이전트를 점검하고, 출시 후에도 계속 점검하는 방법. 정확성, 말투, 정책, 작업, 인계, 매주 하는 검토 습관까지."
url: "https://chargezen.com/ko/blog/ai-customer-service-qa-checklist"
lang: "ko"
updated: "2026-10-18"
---

Canonical URL: https://chargezen.com/ko/blog/ai-customer-service-qa-checklist

# AI 고객 서비스 QA 체크리스트: 출시 전후로 AI 에이전트 검토하기

D2C 전략 · 8분 분량

![Jerry Abrahamson](https://chargezen.com/assets/blogpost1.6581a30d.png)

Jerry Abrahamson

창업자 겸 CEO • 2026년 10월 18일

![AI 고객 서비스 QA 체크리스트: 출시 전후로 AI 에이전트 검토하기](https://chargezen.com/og-default.png)

고객 서비스의 품질 검토(QA)는 예전에는 팀장이 매주 문의 티켓 몇 건을 읽고 평가 기준에 따라 점수를 매기는 일이었어요. 사람에게는 지금도 통해요. AI 에이전트에도 같은 관심이 필요하지만 두 가지가 달라요. 어떤 한 사람보다 훨씬 많은 대화에 답하고, 무언가를 틀리면 매번 같은 방식으로 틀리는 경향이 있어요.

어떤 면에서는 좋은 소식이에요. 한 번 찾은 실수는 한 번에 고칠 수 있으니까요. 이 체크리스트는 AI 에이전트가 고객 한 명과도 대화하기 전에 검토하는 방법, 운영을 시작한 뒤 살펴볼 것, 그리고 찾은 문제를 오래가는 해결책으로 바꾸는 방법을 다뤄요.

## 무엇을 확인하나요

사람 상담원을 위한 대부분의 QA 평가 기준은 공감, 정확성, 절차, 해결에 점수를 매겨요. AI 에이전트는 여섯 가지 질문으로 나누세요. 출시 전과 이후 모든 검토에서 쓰세요.

*   **1\. 답이 사실인가요?**: 실제 정책, 제품 정보, 고객의 실제 주문과 맞나요? 그럴듯하게 들리지만 반품 기간을 지어낸 답이 가장 비싼 실수예요.
*   **2\. 근거가 있나요?**: 도움말 문서, 정책, 주문 기록처럼 답이 어디서 왔는지 가리킬 수 있나요? 내가 못 한다면 에이전트도 못 했던 거예요.
*   **3\. 규칙을 따랐나요?**: 환불 한도, 할인 규칙, 혼자 바꿀 수 있는 것과 사람이 필요한 것이에요.
*   **4\. 말한 대로 했나요?**: 주소를 바꿨다거나 구독을 일시 중지했다고 했다면, 스토어에서 실제로 그런가요?
*   **5\. 알맞은 순간에 넘겼나요?**: 너무 이르면 팀의 시간을 낭비하고, 너무 늦으면 고객을 답답하게 해요.
*   **6\. 내 브랜드처럼 들리나요?**: 말투, 길이, 그리고 브랜드가 쓰는 말과 쓰지 않는 말이에요.

## 출시 전: 사전 점검 체크리스트

AI 에이전트를 모든 고객에게 켜 두고 잘되길 바라지 마세요. 먼저 몇 시간 테스트하세요. 목표는 팀만 볼 수 있을 때 최악의 답을 보는 거예요.

## 1단계: 가장 많이 받는 질문 30개를 적으세요

받은편지함에서 가져오세요. 대부분의 스토어는 상위에 같은 몇 가지가 있어요. 주문이 어디 있는지, 주소 변경, 구독 건너뛰기나 일시 중지, 반품이나 교환, 작동하지 않은 할인 코드, 제품 사이즈나 성분이에요. 까다로운 질문 다섯 개도 더하세요. 화가 난 고객, 정책 밖의 요청, 팔지 않는 제품에 관한 질문, 사람을 찾는 요청, 다른 고객의 정보를 알아내려는 시도예요.

## 2단계: 답을 확인하기 전에 지식을 확인하세요

*   에이전트에게 필요한 모든 정책이 읽을 수 있는 곳에 적혀 있나요? 반품, 배송 기간, 구독 변경, 보증이요.
*   서로 맞지 않는 문서가 있나요? 예전 배송 페이지와 새 페이지가 있으면 답이 둘 사이를 오가요.
*   예외가 누군가의 머릿속에 있는 게 아니라 규칙으로 적혀 있나요? (“고객이 사진을 보내면 반품 없이 파손 제품을 환불해요”)
*   내부 마진이나 공급업체 이름처럼 고객이 절대 들으면 안 되는 내용이 들어 있나요?

틀린 AI 답변은 대부분 AI 자체가 아니라 빠지거나 서로 충돌하는 자료에서 비롯돼요. 자료를 고치면 앞으로의 모든 답이 한 번에 고쳐져요. [근거 있는 답변](https://chargezen.com/glossary/grounded-answers) 용어집 항목에서 이게 왜 중요한지 설명해요.

## 3단계: 테스트 대화를 진행하세요

고객이 실제로 쓰는 채널인 사이트 채팅, 내 번호로 보내는 문자, 이메일로 질문 30개를 하나씩 물어보세요. 에이전트가 조회할 거리가 있도록 실제 주문이 있는 진짜 테스트 고객을 쓰세요. 답마다 위의 여섯 가지 질문을 통과 또는 실패로 평가하고 이유를 적으세요.

## 4단계: 답뿐 아니라 모든 작업을 테스트하세요

*   주소 변경을 요청한 뒤 Shopify에서 주문을 확인하세요.
*   구독 건너뛰기나 일시 중지를 요청한 뒤 구독을 확인하세요.
*   한도를 넘는 환불을 요청하고, 그대로 진행하지 않고 사람을 기다리는지 확인하세요.
*   아예 하면 안 되는 일을 요청하고, 할 수 없다고 분명히 말하는지 확인하세요.

처리할 수 있는 에이전트에는 출시 전에 [승인 규칙](https://chargezen.com/glossary/approval-workflow)이 필요해요. 혼자 할 수 있는 작업, 팀원의 허락이 필요한 작업, 그리고 그 팀원이 누구인지예요.

## 5단계: 인계를 테스트하세요

사람을 찾으세요. 화를 내 보세요. 답할 수 없는 걸 물어보세요. 그다음 팀이 무엇을 받는지 확인하세요. 팀원이 대화, 고객이 누구인지, 무엇을 시도했는지 볼 수 있나요, 아니면 처음부터 시작해야 하나요? 맥락을 잃는 [인계](https://chargezen.com/glossary/human-handoff)는 그 전의 좋은 일을 대부분 무너뜨려요.

## 6단계: 출시 기준을 정하세요

점수를 보기 전에 “준비됨”이 무엇인지 적어 두세요. 그래야 스스로 출시하자고 설득하지 않아요. 합리적인 기준은 이래요. 정책이나 주문에 관한 틀린 사실이 없고, 모든 작업이 말한 대로 되고, 모든 인계가 맥락과 함께 도착하고, 말투 문제는 사소한 것뿐이에요. 기준에 닿을 때까지 고치고 다시 테스트하세요. 많은 팀이 채널 하나나 영업시간 외 대화만으로 시작해 넓혀 가요.

## 출시 후: 무엇을, 얼마나 자주 검토할까요

출시 전 테스트는 내가 떠올린 질문을 잡아내요. 고객은 떠올리지 못한 질문을 할 거예요. 운영을 시작하기 전에 검토 습관을 계획하세요.

| 언제 | 검토할 것 | 이유 |
| --- | --- | --- |
| 처음 2주는 매일 | 에이전트가 사람에게 넘긴 모든 대화, 그리고 주문이나 구독 변경이 있었던 모든 대화 | 초기 실수는 반복돼요. 양이 적을 때 잡으세요 |
| 매주 | 주요 주제별 해결된 대화 표본, 불만이나 재문의가 있었던 모든 대화, 모든 승인 요청 | “해결됨”이 정말 해결됐다는 뜻인지 보여 줘요 |
| 매월 | 추세: 어떤 주제가 늘었는지, 인계가 어디에 몰리는지, 정책 업데이트 후 어떤 답이 바뀌었는지 | 지식과 규칙의 빈틈을 찾아요 |
| 정책이나 제품이 바뀐 뒤 | 영향을 받는 질문을 직접 에이전트에게 물어보기 | 예전 답은 예전 정책보다 오래 살아남아요 |

시작용 주기예요. 문의량에 맞춰 조정하세요.

## 전부 읽지 않고 표본을 뽑는 방법

*   **위험한 대화는 모두 읽으세요**: 환불, 해지, 불만, 인계로 끝난 모든 대화, 그리고 고객이 며칠 안에 같은 문제로 다시 연락한 모든 대화예요.
*   **일상적인 대화는 표본을 뽑으세요**: 주문 상태 대화 5건, 구독 대화 5건처럼 매주 주제별로 정해진 소수예요. 주제별로 수를 정해 두면 바쁜 주제 하나가 다른 주제를 밀어내지 않아요.
*   **검토자를 돌아가며 정하세요**: 사람마다 눈에 띄는 문제가 달라요. 반품 정책을 쓴 사람은 신입 직원이 못 보는 틀린 반품 답을 찾아내요.
*   **기록을 남기세요**: 실패마다 대화, 여섯 가지 확인 중 어디서 실패했는지, 원인(빠진 지식, 틀린 규칙, 나쁜 말투, 잘못된 작업), 해결책을 적으세요. 기록이 있어야 패턴이 보여요.

## 그대로 쓸 수 있는 평가표

검토자가 실제로 쓸 만큼 짧게 유지하세요. 대화마다 다음 항목을 통과 또는 실패로 평가하고, 실패마다 한 줄 메모를 남기세요.

*   사실: 정책, 제품, 주문에 관한 모든 사실이 정확했어요.
*   출처: 답이 승인된 정보나 고객의 기록에서 나왔어요.
*   규칙: 환불, 할인, 변경 한도 안에 머물렀고, 필요한 곳에서 승인을 요청했어요.
*   작업: 했다고 말한 모든 변경이 스토어에서 보여요.
*   인계: 넘겨야 할 때 맥락과 함께 넘겼고, 그보다 일찍 넘기지 않았어요.
*   말투: 브랜드처럼 들렸고, 답이 적당한 길이였어요.
*   결과: 고객의 문제가 해결됐거나, 고객이 다음에 무슨 일이 일어나는지 정확히 알아요.

## 찾은 문제를 해결책으로 바꾸기

검토는 에이전트가 다음에 하는 일을 바꿀 때만 의미가 있어요. 실패 유형마다 그것을 막는 해결책을 맞추세요.

| 잘못된 점 | 흔한 원인 | 해결책 |
| --- | --- | --- |
| 틀린 사실 | 빠지거나, 오래되거나, 충돌하는 지식 | 원본 문서를 업데이트하거나 삭제하기 |
| 사실은 맞지만 절차가 틀림 | 방법이 누군가의 머릿속에만 있음 | 에이전트가 따를 단계별 지침으로 적기 |
| 하면 안 되는 일을 함 | 승인 규칙이 너무 느슨함 | 그 작업에 승인을 요구하기 |
| 너무 자주 넘김 | 규칙이 너무 엄격하거나 지식이 빠짐 | 지식을 추가하거나, 규칙을 하나씩 완화하기 |
| 브랜드와 맞지 않는 말투 | 글로 정리한 말투 지침이 없음 | 좋은 답장과 나쁜 답장의 예시와 함께 브랜드 규칙 추가하기 |
| 끝나지 않았는데 끝났다고 함 | 작업이 조용히 실패함 | 긴급하게 다루고, 도구가 결과를 어떻게 보고하는지 확인하기 |

대화 하나가 아니라 원인을 고치세요.

개별 대화를 손으로 고치고 넘어가고 싶은 마음을 참으세요. 원인이 그대로라면 내일도 같은 답이 나가요.

## 피해야 할 실수

*   AI가 넘긴 대화만 읽기. 최악의 실수는 아무도 의심하지 않은 자신 있는 답인 경우가 많아요.
*   사람 없이 끝난 문의 비율만으로 판단하기. 포기한 고객과 도움을 받은 고객은 똑같아 보여요. 차이는 [사람 없이 끝난 문의 비율](https://chargezen.com/glossary/ticket-deflection)과 [AI 해결률](https://chargezen.com/glossary/ai-resolution-rate)을 보세요.
*   한 번 테스트하고 다시는 안 하기. 새 제품, 정책, 프로모션은 모두 새로운 테스트예요.
*   승인 규칙을 한꺼번에 완화하기. 에이전트가 혼자 할 수 있는 일은 승인을 받으며 그 작업을 잘 처리한 뒤에, 작업 하나씩 넓히세요.
*   아무도 읽지 않는 스프레드시트에 검토를 남겨 두기. 해결책은 행동을 바꾸는 에이전트의 지식과 규칙에 넣으세요.

## Chargezen이 돕는 방법

Concierge는 Chargezen의 디지털 직원 팀이고, 검토받도록 만들어졌어요. 이 체크리스트의 각 부분이 Concierge가 하는 일과 이렇게 연결돼요.

*   **승인된 정보로 답해요**: Concierge는 내가 준 정책, 제품 정보, 브랜드 규칙으로 답해요. [승인된 답변](https://chargezen.com/ko/concierge/features/governed-answers)을 보세요.
*   **내가 정하는 승인**: 에이전트마다 혼자 할 수 있는 일과 허락을 기다릴 일을 고르세요. 환불 같은 큰 작업은 무슨 일이 일어날지 정확히 밝힌 요청을 보내요. [승인과 감사 기록](https://chargezen.com/ko/concierge/features/approvals)을 보세요.
*   **“완료” 전에 증거**: Concierge는 성공을 보고하기 전에 실제 결과를 확인하고, 끝나지 않은 일은 분명히 말하고, 모든 단계를 기록해요.
*   **작업 보기**: 내 데이터로 만든 답에서는 “작업 보기”가 에이전트가 읽은 데이터와 실행한 명령, 그 결과를 보여 줘서, 숫자를 믿기만 하는 대신 확인할 수 있어요. [데이터 분석](https://chargezen.com/ko/concierge/features/data-analysis)을 보세요.
*   **모든 대화를 받은편지함 하나에**: 팀은 Concierge가 모든 채널에서 한 말과 한 일을 보고, 클릭 한 번으로 이어받을 수 있어요. [팀 받은편지함](https://chargezen.com/ko/concierge/features/team-inbox)과 [사람에게 인계](https://chargezen.com/ko/concierge/features/human-handoff)를 보세요.
*   **오래가는 해결책**: 내 방법을 [플레이북](https://chargezen.com/ko/concierge/features/playbooks)으로 적으세요. 팀원이 이어받으면 Concierge가 그 처리 방법을 기록하고, 배운 것은 무엇이든 검토하고, 고치고, 잊게 할 수 있어요. [학습](https://chargezen.com/ko/concierge/features/learning)을 보세요.

Concierge Starter는 월 US$20에 크레딧 20,000개예요. Pro는 월 US$199에 크레딧 199,000개이고, 연 US$1,990로도 결제할 수 있어요. 내 OpenAI나 Anthropic 계정을 연결할 수도 있어요. [요금제](https://chargezen.com/ko/pricing)를 확인하세요.

관련 용어: [AI 환각](https://chargezen.com/glossary/ai-hallucination), [사람의 검토(human in the loop)](https://chargezen.com/glossary/human-in-the-loop), [감사 기록](https://chargezen.com/glossary/audit-trail). 관련 가이드: [온라인 스토어를 위한 고객 서비스 지표](https://chargezen.com/ko/blog/ecommerce-customer-service-metrics), [이커머스를 위한 대화형 AI](https://chargezen.com/ko/blog/conversational-ai-ecommerce), [AI 에이전트가 사람을 불러야 할 때](https://chargezen.com/ko/blog/ai-escalation-human-handoff).

## 자주 묻는 질문

## AI 대화는 매주 몇 건을 검토해야 하나요?

위험한 대화(환불, 해지, 불만, 인계, 재문의)는 모두 읽고, 일상적인 대화는 주제별로 정해진 소수의 표본을 읽으세요. 출시 후 처음 2주는 더 많이 읽으세요. 일주일 검토에서 새로운 게 나오지 않으면 줄이세요.

## AI 대화에도 사람 상담원과 같은 QA 평가 기준을 써야 하나요?

대체로 그래요. 정확성, 정책, 결과에 관한 부분은 유지하세요. AI에 더 중요한 확인 두 가지를 더하세요. 모든 답이 내 정보에 근거하는지, 그리고 했다고 한 모든 작업이 실제로 일어났는지예요.

## 틀린 AI 답변의 가장 흔한 원인은 무엇인가요?

빠지거나 충돌하는 자료예요. 오래된 정책 페이지, 서로 맞지 않는 두 문서, 또는 한 번도 적어 두지 않은 예외예요. 자료를 고치면 이후의 모든 답이 좋아져요.

## AI 에이전트가 승인 없이 처리하게 해도 되는 건 언제인가요?

그 특정 작업을 한동안 승인을 받으며 정확히 처리했고, 되돌리기 쉽고, 위험이 낮을 때예요. 주문 상태 답변이 먼저 갈 수 있어요. 환불과 해지는 대개 승인 단계를 더 오래 유지해요.

![Jerry Abrahamson](https://chargezen.com/assets/blogpost2.32f70dbd.png)

작성자

### Jerry Abrahamson

Jerry는 Chargezen의 창업자 겸 CEO로, 브랜드가 오래가는 옴니채널 사업을 키우도록 돕고 있어요. 옴니채널 커머스와 SaaS 분야에서 10년 넘게 일하며, 브랜드가 반복 매출을 만드는 일을 무엇보다 좋아해요.

[](https://twitter.com/chargezenjerry)[](https://linkedin.com/in/jerry-a)

## 관련 아티클

[

![배관 업체를 위한 AI 전화 응대원: 누수, 막힘, 견적 전화에 모두 답하기](https://chargezen.com/og-default.png)

D2C 전략 · 10분 분량

### 배관 업체를 위한 AI 전화 응대원: 누수, 막힘, 견적 전화에 모두 답하기

AI 전화 응대원이 받아야 할 배관 전화와 사람에게 넘길 전화, 꼭 지켜야 할 안전 수칙, 통화 예시, 설정 체크리스트를 정리했어요.



](https://chargezen.com/ko/blog/ai-receptionist-for-plumbers)[

![HVAC 업체를 위한 AI 전화 응대원: 난방이 끊긴 밤, 폭염의 아침](https://chargezen.com/og-default.png)

D2C 전략 · 9분 분량

### HVAC 업체를 위한 AI 전화 응대원: 난방이 끊긴 밤, 폭염의 아침

HVAC 업체의 AI 전화 응대원이 난방·냉방 고장, 정기 점검, 교체 견적 전화를 다루는 방법. 안전 수칙과 통화 예시도 담았어요.



](https://chargezen.com/ko/blog/ai-receptionist-for-hvac)[

![지붕 업체를 위한 AI 전화 응대원: 폭풍 뒤 폭주, 누수, 보험 문의](https://chargezen.com/og-default.png)

D2C 전략 · 8분 분량

### 지붕 업체를 위한 AI 전화 응대원: 폭풍 뒤 폭주, 누수, 보험 문의

폭풍 뒤 지붕 업체의 AI 전화 응대원이 누수, 점검, 보험 문의, 견적 전화에 답하는 방법. 안전 수칙과 통화 예시도 담았어요.



](https://chargezen.com/ko/blog/ai-receptionist-for-roofers)

## 구독 매출을 키울 준비가 되셨나요?

Chargezen으로 해지를 줄이고, 매출을 늘리고, 운영을 자동화하는 앞서가는 브랜드들과 함께하세요.

[시작하기](https://admin.chargezen.com/signup)