モデルルーティング
モデルルーティング
AI
モデルルーティングとは、AIエージェントの作業の各手順を、簡単なものは高速で低コストのモデルへ、難しいものは高性能なモデルへと、適したモデルに振り分けることです。
モデルルーティングとは？
仕事のすべての手順に、最も高性能なモデルが必要なわけではありません。メッセージの分類や注文からの項目の取り出しは簡単です。複数の手順がある仕事の計画や、怒っているお客様への丁寧な返信はそうではありません。モデルルーティングは、手順とモデルを組み合わせます。
ルーティングには固定と動的があります。 固定ルーティングは、エージェントごとや作業の段階ごとにモデルを割り当てます。動的ルーティングは、依頼に応じて実行時に選びます。いずれも目的は、コストと待ち時間を下げ、重要な部分の品質を保つことです。
Conciergeでは、各エージェントにChargezen Managedまたは自社のプロバイダーアカウント上のデフォルトモデルを設定し、モデルのオーバーライドで作業の特定の部分に別のモデルを使えます。
例
たとえばサポートエージェントは、届いたメッセージの読み取りと分類には高速なモデルを使い、複数の商品と一部の交換を含む返品の計画には高性能なモデルを使えます。
モデルルーティングが重要な理由
ルーティングにより、すぐ済む回答は速く安く保ち、高性能で費用のかかるモデルは本当に必要な仕事に回せます。
モデルルーティングのよくある質問
なぜすべてに最高のモデルを使わないのですか？
高性能なモデルは通常、遅く、1手順あたりの費用も高くなります。仕事の手順の多くは簡単なので、高速なモデルに振り分ければ、結果を損なわずに時間と費用を節約できます。
エージェントが使うモデルは選べますか？
多くのエージェント製品で選べます。Conciergeでは、エージェントごとにデフォルトモデルを選び、作業の特定の部分だけ別のモデルに変更できます。
