Roteamento de modelos

Nem toda etapa de uma tarefa precisa do modelo mais capaz. Classificar uma mensagem ou extrair um campo de um pedido é simples; planejar uma tarefa de várias etapas ou escrever uma resposta cuidadosa a um cliente irritado não é. O roteamento de modelos combina a etapa com o modelo. O roteamento pode ser fixo ou dinâmico. O roteamento fixo atribui um modelo por agente ou por fase do trabalho. O roteamento dinâmico escolhe durante a execução, com base no pedido. Em ambos os casos, os objetivos são reduzir o custo e a latência e manter a qualidade onde ela importa. No Concierge, cada agente tem um modelo padrão, seja um modelo Chargezen Managed ou um na sua própria conta de provedor, e as substituições de modelo permitem usar outro modelo em partes específicas do trabalho do agente.