Enrutamiento de modelos

Enrutamiento de modelos (model routing)

IA

El enrutamiento de modelos envía cada paso de un agente de IA al modelo adecuado, como uno rápido y barato para lo simple y otro más potente para lo difícil.

¿Qué significa Enrutamiento de modelos?

No todos los pasos de un trabajo necesitan el modelo más capaz. Clasificar un mensaje o sacar un campo de un pedido es simple; planificar un trabajo de varios pasos o escribir una respuesta cuidadosa a un cliente molesto no lo es. El enrutamiento de modelos asigna a cada paso su modelo. El enrutamiento puede ser fijo o dinámico. El enrutamiento fijo asigna un modelo por agente o por etapa del trabajo. El dinámico elige en el momento de ejecutar, según la solicitud. En ambos casos, los objetivos son reducir el costo y la latencia y mantener la calidad donde importa. En Concierge, cada agente tiene un modelo predeterminado, ya sea Chargezen Managed o uno en tu propia cuenta de proveedor, y las anulaciones de modelo permiten usar un modelo distinto en partes concretas del trabajo del agente.

Ejemplo

Por ejemplo, un agente de soporte puede usar un modelo rápido para leer y clasificar los mensajes que llegan y un modelo más potente para planificar una devolución con varios artículos y un cambio parcial.

Enrutamiento de modelos: por qué importa

El enrutamiento mantiene las respuestas rápidas ágiles y baratas, y reserva el modelo más potente y costoso para el trabajo que lo necesita.

Preguntas frecuentes sobre Enrutamiento de modelos

¿Por qué no usar el mejor modelo para todo?

Los modelos más potentes suelen ser más lentos y cuestan más por paso. La mayoría de los pasos de un trabajo son simples, así que enviarlos a un modelo más rápido ahorra tiempo y dinero sin perjudicar el resultado.

¿Puedo elegir qué modelo usa mi agente?

En muchos productos de agentes, sí. En Concierge eliges un modelo predeterminado para cada agente y puedes cambiarlo en partes concretas de su trabajo.

Explora más términos

Consulta nuestro glosario completo de comercio electrónico y suscripciones.

El espacio, al alcance de tu mano

¿Qué harías con un 22 % más de ingresos?