Modell-Routing

Modell-Routing

KI

Modell-Routing schickt jeden Arbeitsschritt eines KI-Agenten an das passende Modell, etwa einfache an ein schnelles, günstiges und schwere an ein stärkeres.

Was bedeutet Modell-Routing?

Nicht jeder Schritt einer Aufgabe braucht das leistungsstärkste Modell. Eine Nachricht einzuordnen oder ein Feld aus einer Bestellung auszulesen ist einfach. Eine mehrstufige Aufgabe zu planen oder einem verärgerten Kunden sorgfältig zu antworten ist es nicht. Modell-Routing ordnet dem Schritt das passende Modell zu. Routing kann fest oder dynamisch sein. Beim festen Routing wird ein Modell pro Agent oder pro Arbeitsphase zugewiesen. Beim dynamischen Routing fällt die Wahl während der Ausführung anhand der Anfrage. In beiden Fällen geht es um niedrigere Kosten, geringere Wartezeiten und Qualität dort, wo sie zählt. In Concierge hat jeder Agent ein Standardmodell, entweder Chargezen Managed oder eines über dein eigenes Anbieterkonto, und mit Modell-Überschreibungen lässt sich für bestimmte Teile seiner Arbeit ein anderes Modell nutzen.

Beispiel

Beispiel: Ein Support-Agent könnte ein schnelles Modell nutzen, um eingehende Nachrichten zu lesen und zu sortieren, und ein stärkeres, um eine Rücksendung mit mehreren Artikeln und einem Teilumtausch zu planen.

Modell-Routing: warum es darauf ankommt

Routing hält kurze Antworten schnell und günstig und spart das stärkere, teurere Modell für die Arbeit auf, die es braucht.

Häufige Fragen zu Modell-Routing

Warum nicht für alles das beste Modell nutzen?

Stärkere Modelle sind meist langsamer und kosten pro Schritt mehr. Die meisten Schritte einer Aufgabe sind einfach. Sie an ein schnelleres Modell zu leiten, spart Zeit und Geld, ohne dem Ergebnis zu schaden.

Kann ich wählen, welches Modell mein Agent nutzt?

Bei vielen Agenten-Produkten ja. In Concierge wählst du für jeden Agenten ein Standardmodell und kannst es für bestimmte Teile seiner Arbeit überschreiben.

Entdecke weitere Begriffe

Stöbere in unserem ganzen Glossar zu E-Commerce und Abos.

Der Weltraum, zum Greifen nah

Was würdest du tun mit 22 % mehr Umsatz?