모델 라우팅
모델 라우팅
AI
AI 에이전트의 작업을 단계마다 가장 알맞은 모델로 보내는 방식으로, 간단한 단계는 빠르고 저렴한 모델에, 어려운 단계는 더 강력한 모델에 맡겨요.
모델 라우팅이란?
작업의 모든 단계에 가장 뛰어난 모델이 필요하지는 않아요. 메시지를 분류하거나 주문에서 항목 하나를 가져오는 일은 간단해요. 여러 단계의 작업을 계획하거나 화가 난 고객에게 신중한 답장을 쓰는 일은 그렇지 않아요. 모델 라우팅은 단계에 맞는 모델을 연결해요.
라우팅은 고정 방식과 동적 방식이 있어요. 고정 라우팅은 에이전트나 작업 단계마다 모델을 지정해요. 동적 라우팅은 실행 시점에 요청에 따라 골라요. 어느 쪽이든 목표는 비용과 지연 시간을 줄이고, 중요한 곳에서 품질을 지키는 거예요.
Concierge에서는 에이전트마다 기본 모델이 있어요. Chargezen Managed 또는 내 제공업체 계정의 모델이에요. 모델 재정의를 쓰면 에이전트 작업의 특정 부분에 다른 모델을 쓸 수 있어요.
예시
예를 들어 고객 지원 에이전트는 들어오는 메시지를 읽고 분류할 때 빠른 모델을 쓰고, 여러 제품과 부분 교환이 얽힌 반품을 계획할 때 더 강력한 모델을 쓸 수 있어요.
모델 라우팅, 왜 중요한가요?
라우팅은 빠른 답변을 빠르고 저렴하게 유지하고, 더 강력하고 비싼 모델은 그 모델이 필요한 일에 남겨 둬요.
모델 라우팅 자주 묻는 질문
왜 모든 일에 가장 좋은 모델을 쓰지 않나요?
더 강력한 모델은 보통 더 느리고 단계당 비용도 더 들어요. 작업의 단계는 대부분 간단해서, 더 빠른 모델로 라우팅하면 결과를 해치지 않고 시간과 비용을 아낄 수 있어요.
내 에이전트가 쓸 모델을 고를 수 있나요?
많은 에이전트 제품에서 고를 수 있어요. Concierge에서는 에이전트마다 기본 모델을 고르고, 작업의 특정 부분에 대해 다른 모델로 재정의할 수 있어요.
