AI 에이전트의 작업을 다시 하지 않고 확인하는 방법

AI 에이전트의 작업을 다시 하지 않고 확인하려면 위험에 맞춰 노력을 조절하세요. 위험이 낮은 일은 표본만 점검하고, 중요한 답은 어떻게 나왔는지 읽고, 리포트는 믿을 수 있는 출처와 비교하고, 돈이 오가는 일은 사람에게 맡기세요. 처음에는 모두 확인하고, 업무가 믿을 만하다고 입증되면 확인을 줄이세요.

모든 줄을 다시 확인하면 에이전트가 시간을 아껴 주지 못해요. 전혀 확인하지 않으면 고객이 발견할 때 에이전트의 실수를 알게 돼요. 현실적인 중간 지점이 있고, 신입 직원의 일을 검토하는 방식과 비슷해요. 처음에는 꼼꼼하게, 그다음에는 가볍게, 의도를 갖고 보는 거예요.

답 뒤의 과정을 읽는 건 다시 하는 것보다 훨씬 빨라요. 맞는 데이터, 맞는 기간, 합리적인 단계인지 보면 돼요. Concierge에서는 에이전트 답변 아래의 Show work를 클릭하세요. Work behind this answer에 에이전트가 읽은 데이터와 컴퓨터에서 실행한 명령이 나오고, 진행 표시 줄에 브라우저 단계가 실시간으로 표시돼요.

• 맞는 출처를 썼나요?: 오래된 내보내기 파일이 아니라 내 스토어의 주문이어야 해요.
• 맞는 기간을 썼나요?: 시작일과 종료일, 시간대를 확인하세요.
• 내 정의를 썼나요?: 예를 들어 순매출에서 배송비를 뺐는지 보세요.
• 빠뜨린 게 있나요?: 테스트 주문은 빼야 할 수 있지만 실제 주문은 빼면 안 돼요.

에이전트에 의지하기 전에 짧은 테스트 세트를 만드세요. 정답을 아는 실제 요청 10~20개예요. 까다로운 요청도 몇 개 넣으세요. 시작할 때 실행하고, 지시, 플레이북, 모델을 바꾼 뒤에 다시 실행하세요.

• 지난달 주문 수처럼 Shopify에서 확인할 수 있는 숫자.
• 답이 분명한 정책 질문과 예외가 있는 정책 질문.
• 에이전트가 거절하거나 사람에게 넘겨야 하는 요청.
• 에이전트가 가진 정보로 답할 수 없는 질문. 추측하지 않고 그렇게 말해야 해요.
• 본인 확인을 하지 않은 고객이 비공개 정보를 요청하는 경우.

고객 응대 에이전트라면 Concierge의 Playground에서 실제 고객에게 영향 없이 시험해 보세요.

에이전트에게 확인의 일부를 직접 하라고 요청할 수 있어요. 좋은 지시나 플레이북에는 이런 문장이 들어가요.

• “답하기 전에 제품별 행의 합이 합계와 맞는지 확인해 주세요.”
• “어떤 날짜와 주문을 셌는지 밝혀 주세요.”
• “데이터가 없으면 무엇이 없는지 말해 주세요. 추정하지 마세요.”
• “얼마나 확신하는지, 무엇이 있으면 답이 바뀌는지 말해 주세요.”
• “지난달과 비교해 20%가 넘게 바뀐 것을 짚어 주세요.”

이것이 내 검토를 대신하지는 않아요. 에이전트는 자기 작업에 대해서도 틀릴 수 있으니까요. 그래도 실수를 찾기 쉬워지고, 합이 맞지 않는 합계는 눈에 띄는 신호가 돼요.

AI 환각은 자신 있게 전달되는 거짓 진술이에요. 고객 답변에서 가장 좋은 방어는 잡아내는 게 아니라 막는 거예요. Concierge의 승인된 답변은 에이전트를 공개 웹이나 오래된 메모가 아니라 내 정책, 제품 정보, 브랜드 규칙 안에 머물게 해요. 그러니 답뿐 아니라 출처도 확인하세요. 오래된 반품 정책은 자신 있지만 오래된 답을 만들어요.

• 무작위로 표본 보기: 매주 정해진 수를 읽으면 불만뿐 아니라 평범한 대화도 볼 수 있어요.
• 모든 인계 읽기: 에이전트의 지식이나 확신이 어디서 바닥나는지 보여 줘요.
• 재문의 확인하기: 같은 일로 다시 연락한 고객은 처음에 도움을 받지 못했을 수 있어요.
• 이상치 살펴보기: 가장 긴 대화와 고객이 불만스러워 보이는 대화를 읽으세요.
• 몇 가지를 일관되게 평가하기: 맞았나요, 정책을 따랐나요, 말투가 적절했나요? QA 체크리스트가 출발점이 돼요.

Concierge에서 모든 대화는 Operate, Inbox에 있고, 지난 작업은 Operate, History에 있어요. 팀원은 어떤 대화든 끼어들 수 있고, 대화를 에이전트에게 다시 넘길 때까지 에이전트는 답하지 않아요.

• 결과 고치기: 리포트를 수정하거나 고객에게 후속 연락을 하세요.
• 원인 찾기: 정의가 빠졌나요, 출처가 오래됐나요, 지시가 약했나요, 접근 권한이 너무 넓었나요?
• 맞는 곳에서 원인 고치기: 규칙 하나는 메모리, 방법은 플레이북, 접근은 기능 변경, 사실은 출처 업데이트로 고치세요.
• 테스트 세트에 추가하기: 이제 그 실수를 매번 확인하게 돼요.
• 더 넓은 영향 살피기: 한 번 일어났다면 같은 경우가 또 있는지 찾아보세요.

Concierge에서는 일상적인 말로 에이전트를 바로잡을 수 있어요. 예를 들어 “앞으로 주간 리포트에는 환불을 맨 앞에 넣어 주세요”라고 말하면 돼요. 에이전트가 메모리로 저장하고, Undo와 Edit이 바로 옆에 나와요. 메모리 vs 플레이북을 보세요.

한 번에 한 업무씩, 단계적으로 줄이세요. 적절한 시점은 업무와 내가 보는 양에 달려 있으니 기준을 미리 정하세요.

• 1단계: 모두 확인하기: 모든 결과를 수작업 결과와 비교하세요.
• 2단계: 주요 숫자 확인하기: 문제없는 기간이 이어지면 합계와 이상해 보이는 것만 확인하세요.
• 3단계: 표본 보기: 매주 몇 개를 검토하고, 에이전트가 표시한 것을 읽으세요.
• 다시 1단계로: 모델, 지시, 기반 절차를 바꾼 뒤에는 여기로 돌아오세요.

• 무작위로 작업 5개를 읽고, 그중 2개는 뒤의 과정까지 열어 보세요.
• 그 주의 인계를 읽으세요. 많으면 표본을 보세요.
• 주요 리포트 합계 하나를 믿을 수 있는 출처와 비교하세요.
• 지난주 수정이 유지됐는지 확인하세요.
• 새 실수를 테스트 세트에 추가하세요.

• 딱 떨어지거나 이상하게 깔끔한 숫자: 실제 스토어 데이터는 깔끔한 경우가 드물어요. 어디서 나왔는지 확인하세요.
• 날짜나 출처 없음: 무엇을 셌는지 말하지 않는 답은 믿기도 확인하기도 어려워요.
• 맞지 않는 합계: 부분과 전체를 맞춰 보라고 요청하세요.
• 같은 질문에 아주 다른 답: 정의가 빠졌다는 신호인 경우가 많아요.
• 업데이트 후 갑작스러운 변화: 지시나 모델을 바꾼 뒤에는 테스트 세트를 다시 돌리세요.
• 알 수 없는 것에 대한 자신 있는 답: 확신하려면 무엇이 필요한지 에이전트에게 물어보세요.

Concierge는 대화 안에 모든 요청, 승인, 동작을 기록하고, 각 답 뒤의 과정을 보여 주고, 고객 답변을 승인된 출처 안에 두고, 필요할 때 내 팀에 넘겨요. 데이터 분석과 주간 리포트 페이지에서 리포트가 보내지기 전에 어떻게 확인되는지 볼 수 있어요.

더 읽어 보기: 사람이 검토하도록 유지하는 방법, 첫 30일, 지원 에이전트 단계적 도입. 관련 용어: 감사 추적 기록, AI 환각, 사람의 검토를 포함한 설계.

믿을 수 있는 출처와 비교하고, 답이 어떻게 나왔는지 읽고, 결과를 이미 아는 질문으로 테스트하세요. 실수의 대가가 가장 큰 곳에 노력을 쓰고, 나머지는 표본으로 보세요.

시작할 때와 지시나 모델을 바꾼 뒤에 꼼꼼히 검토하세요. 업무가 믿을 만해지면 무작위 표본과 모든 인계를 매주 짧게 검토하는 게 대부분의 소규모 팀에 합리적인 루틴이에요.

돈이 오가거나 되돌리기 어려운 모든 일이에요. Concierge에서 에이전트는 절대 돈을 옮기지 않으니 환불은 팀원이 승인해요. 민감한 고객 상황과 법률이나 안전 문제도 사람에게 가야 해요.

위험을 완전히 없앨 수는 없지만 줄일 수는 있어요. 고객 답변을 승인된 출처로 제한하고, 추측 대신 무엇이 없는지 말하라고 에이전트에게 지시하고, 에이전트가 답할 수 없는 질문으로 테스트하세요.