AI 환각
AI 환각
AI
AI 모델이 거짓이나 지어낸 내용을 사실처럼 말하는 현상이에요.
AI 환각이란?
답변을 승인된 출처에 근거하도록 하고, 행동의 성공을 주장하기 전에 증거를 요구하며, “모르겠어요”라고 답할 수 있게 하면 환각을 줄일 수 있어요.
발생 이유: 언어 모델은 그럴듯한 글을 생성해요. 적절한 정보가 없으면 가짜 반품 정책이나 없는 추적 번호처럼 그럴듯하지만 틀린 내용으로 빈틈을 채울 수 있어요. 고객 서비스에서는 지키지 못할 약속이 돼요. 전달 전에 실제 기록과 주장을 대조하는 것이 가장 확실한 방어예요.
예시
예를 들어 고객이 개봉한 제품을 반품할 수 있는지 물어요. 근거 없는 AI는 정책이 미개봉 제품만 30일 이내 허용하더라도 자연스럽게 들린다는 이유로 “네, 60일 이내에 가능해요”라고 할 수 있어요. 근거를 확인하는 에이전트는 정책을 찾아 인용해요.
AI 환각, 왜 중요한가요?
잘못된 답변 하나가 환불, 고객 이탈, 평판 손상으로 이어질 수 있어요. AI가 고객과 대화하기 전에 환각을 통제하는 것이 필수예요.
