So prüfst du die Arbeit eines KI-Agenten, ohne sie selbst noch einmal zu machen

Um die Arbeit eines KI-Agenten zu prüfen, ohne sie noch einmal zu machen, richte deinen Aufwand nach dem Risiko: Nimm bei wenig heiklen Aufgaben Stichproben, lies bei wichtigen Antworten nach, wie er darauf gekommen ist, vergleiche Berichte mit einer Quelle, der du vertraust, und lass bei allem, was Geld bewegt, einen Menschen entscheiden. Prüfe anfangs alles und dann immer weniger, sobald sich eine Aufgabe als zuverlässig erwiesen hat.

Wenn du jede Zeile nachprüfst, spart dir der Agent nichts. Wenn du nie prüfst, entdeckst du seine Fehler erst zusammen mit deinen Kunden. Es gibt einen praktischen Mittelweg, und er ähnelt dem Umgang mit einer neuen Mitarbeiterin oder einem neuen Mitarbeiter: anfangs genau hinsehen, später gezielt und nur noch stichprobenartig.

Die Arbeit hinter einer Antwort zu lesen geht viel schneller, als sie noch einmal zu machen. Du achtest auf die richtigen Daten, den richtigen Zeitraum und sinnvolle Schritte. Klicke in Concierge unter der Antwort eines Agenten auf „Show work“. „Work behind this answer“ listet die gelesenen Daten und die auf seinem Computer ausgeführten Befehle auf, und Fortschrittszeilen zeigen Browser-Schritte, während sie passieren.

• Hat er die richtige Quelle genutzt?: Bestellungen aus deinem Shop, kein veralteter Export.
• Hat er den richtigen Zeitraum genutzt?: Prüfe Start- und Enddatum sowie die Zeitzone.
• Hat er deine Definitionen genutzt?: Zum Beispiel, ob der Nettoumsatz den Versand ausschließt.
• Hat er etwas weggelassen?: Testbestellungen müssen vielleicht raus, echte Bestellungen aber nicht.

Stelle ein kurzes Testset zusammen, bevor du dich auf einen Agenten verlässt: 10 bis 20 echte Anfragen, bei denen du die richtige Antwort kennst. Nimm auch ein paar knifflige dazu. Lass sie zum Start laufen und erneut, nachdem du seine Anweisungen, Leitfäden oder sein Modell geändert hast.

• Eine Zahl, die du in Shopify bestätigen kannst, etwa die Bestellungen des letzten Monats.
• Eine Frage zu einer Richtlinie mit klarer Antwort und eine mit einer Ausnahme.
• Eine Anfrage, die er ablehnen oder an einen Menschen übergeben sollte.
• Eine Frage, die er mit dem, was er hat, nicht beantworten kann. Er sollte das sagen, statt zu raten.
• Ein Kunde, der sich nicht ausgewiesen hat und nach privaten Daten fragt.

Bei Kundenagenten kannst du das im Playground von Concierge ausprobieren, ohne echte Kunden einzubeziehen.

Einen Teil der Prüfung kannst du dem Agenten selbst übertragen. Eine gute Anweisung oder ein guter Leitfaden enthält Zeilen wie diese:

• „Prüfe vor deiner Antwort, dass die Produktzeilen die Summe ergeben.“
• „Nenne den Zeitraum und die Bestellungen, die du gezählt hast.“
• „Wenn Daten fehlen, sag, was fehlt. Schätze nicht.“
• „Sage mir, wie sicher du dir bist und was deine Antwort ändern würde.“
• „Vergleiche das mit dem letzten Monat und weise auf alles hin, was sich um mehr als 20 % verändert hat.“

Das ersetzt deine Prüfung nicht, denn ein Agent kann sich auch bei seiner eigenen Arbeit irren. Fehler werden so aber leichter sichtbar, und eine Summe, die nicht aufgeht, fällt sofort auf.

Eine KI-Halluzination ist eine falsche Aussage, die selbstsicher vorgetragen wird. Bei Kundenantworten ist es am besten, sie zu verhindern, statt sie abzufangen. Die freigegebenen Antworten von Concierge halten Agenten an deine Richtlinien, Produktfakten und Markenregeln statt an das offene Web oder alte Notizen. Prüfe also neben den Antworten auch deine Quellen: Eine veraltete Rückgaberichtlinie führt zu einer selbstsicheren, veralteten Antwort.

• Zufällige Stichproben nehmen: Lies jede Woche eine feste Anzahl, damit du normale Gespräche siehst und nicht nur Beschwerden.
• Jede Übergabe lesen: Sie zeigen, wo dem Agenten Wissen oder Sicherheit gefehlt hat.
• Wiederholte Kontakte prüfen: Wer wegen derselben Sache noch einmal schreibt, hat beim ersten Mal vielleicht keine Hilfe bekommen.
• Ausreißer ansehen: Lies die längsten Gespräche und die, in denen ein Kunde unzufrieden klingt.
• Ein paar Punkte einheitlich bewerten: War es richtig, hat es die Richtlinie befolgt, stimmte der Ton? Unsere QA-Checkliste gibt dir einen Ausgangspunkt.

In Concierge liegt jedes Gespräch unter Operate > Inbox und frühere Arbeit unter Operate > History. Teammitglieder können in jedes Gespräch einsteigen, und der Agent antwortet nicht mehr, bis es zurückgegeben wird.

• Das Ergebnis korrigieren: Berichtige den Bericht oder melde dich noch einmal beim Kunden.
• Die Ursache finden: War es eine fehlende Definition, eine alte Quelle, eine schwache Anweisung oder zu viel Zugriff?
• Die Ursache an der richtigen Stelle beheben: Nutze eine Erinnerung für eine einzelne Regel, einen Leitfaden für eine Methode, eine geänderte Fähigkeit für den Zugriff und eine aktualisierte Quelle für Fakten.
• Ins Testset aufnehmen: Dieser Fehler wird von nun an jedes Mal geprüft.
• Die weitere Wirkung bedenken: Wenn es einmal passiert ist, suche nach weiteren Fällen.

In Concierge kannst du einen Agenten in einfachen Worten korrigieren, zum Beispiel: „Setze Erstattungen im Wochenbericht ab jetzt an den Anfang.“ Er speichert das als Erinnerung, Undo und Edit stehen direkt daneben. Siehe Erinnerungen und Leitfäden im Vergleich.

Geh schrittweise zurück, eine Aufgabe nach der anderen. Der richtige Zeitpunkt hängt von der Aufgabe ab und davon, wie viel du von ihr siehst. Lege deine Messlatte also im Voraus fest.

• Stufe 1: alles prüfen: Vergleiche jedes Ergebnis mit der manuellen Version.
• Stufe 2: wichtige Zahlen prüfen: Prüfe nach einer fehlerfreien Phase nur noch Summen und alles, was ungewöhnlich aussieht.
• Stufe 3: Stichproben: Prüfe jede Woche ein paar Ergebnisse und lies alles, was der Agent markiert.
• Zurück zu Stufe 1: Kehre hierher zurück, wenn du das Modell, die Anweisungen oder den zugrunde liegenden Prozess änderst.

• Lies fünf zufällig gewählte Arbeitsergebnisse und öffne bei zweien die Arbeit dahinter.
• Lies die Übergaben der Woche oder eine Stichprobe, wenn es viele sind.
• Vergleiche eine wichtige Berichtssumme mit deiner verlässlichen Quelle.
• Prüfe, ob die Korrekturen der letzten Woche gehalten haben.
• Nimm neue Fehler in dein Testset auf.

• Runde oder auffallend glatte Zahlen: Echte Shop-Daten sind selten ordentlich. Prüfe, woher sie stammen.
• Keine Zeiträume oder Quellen: Einer Antwort, die nicht sagt, was sie gezählt hat, lässt sich schwer vertrauen, und sie lässt sich schwer prüfen.
• Summen, die nicht aufgehen: Bitte ihn, die Teile mit dem Ganzen abzugleichen.
• Eine ganz andere Antwort auf dieselbe Frage: Das deutet oft auf eine fehlende Definition hin.
• Plötzliche Änderungen nach einem Update: Lass dein Testset nach jeder Änderung an Anweisungen oder Modellen erneut laufen.
• Selbstsichere Antworten auf Dinge, die er nicht wissen kann: Frag ihn, was er bräuchte, um sicher zu sein.

Concierge hält jede Anfrage, Freigabe und Aktion im Gespräch fest, zeigt die Arbeit hinter jeder Antwort, beschränkt Kundenantworten auf freigegebene Quellen und übergibt an dein Team, wenn es angebracht ist. Die Seiten zur Datenanalyse und zum Wochenbericht zeigen, wie Berichte vor dem Versand geprüft werden.

Weiterlesen: wie du einen Menschen im Prozess hältst, die ersten 30 Tage und einen Support-Agenten in Phasen einführen. Glossar: Protokoll, KI-Halluzination und Human in the Loop.

Vergleiche sie mit einer Quelle, der du vertraust, lies nach, wie die KI zur Antwort gekommen ist, und teste sie mit Fragen, deren Ergebnis du schon kennst. Stecke deinen Aufwand dorthin, wo Fehler am meisten kosten würden, und nimm beim Rest Stichproben.

Prüfe genau zu Beginn und nach jeder Änderung an seinen Anweisungen oder seinem Modell. Sobald eine Aufgabe zuverlässig läuft, ist für die meisten kleinen Teams eine kurze wöchentliche Prüfung einer Zufallsstichprobe und aller Übergaben eine sinnvolle Routine.

Alles, was Geld bewegt oder schwer rückgängig zu machen ist. In Concierge bewegen Agenten nie Geld, deshalb gibt ein Teammitglied Erstattungen frei. Auch heikle Kundensituationen sowie rechtliche oder sicherheitsrelevante Fragen sollten an einen Menschen gehen.

Ganz ausschließen kannst du das Risiko nicht, aber du kannst es verringern. Beschränke Kundenantworten auf freigegebene Quellen, weise den Agenten an zu sagen, was fehlt, statt zu raten, und teste ihn mit Fragen, die er nicht beantworten kann.