Eine QA-Checkliste für KI-Kundenservice: Prüf deinen KI-Agenten vor und nach dem Start

Qualitätssicherung im Kundenservice hieß früher: Eine Teamleitung liest jede Woche ein paar Tickets und bewertet sie nach einem Raster. Für Menschen funktioniert das weiter. Ein KI-Agent braucht dieselbe Sorgfalt, mit zwei Unterschieden: Er beantwortet weit mehr Gespräche als jede einzelne Person, und wenn er etwas falsch macht, macht er es meist jedes Mal auf dieselbe Weise falsch.

Das ist in gewisser Weise eine gute Nachricht. Ein Fehler, den du einmal findest, lässt sich einmal beheben. Diese Checkliste zeigt, wie du einen KI-Agenten prüfst, bevor er mit dem ersten Kunden spricht, worauf du achtest, sobald er live ist, und wie du aus dem, was du findest, Korrekturen machst, die halten.

Was du prüfst

Die meisten QA-Raster für menschliche Mitarbeiter bewerten Einfühlung, Genauigkeit, Prozess und Lösung. Für einen KI-Agenten teil das in sechs Fragen auf. Nutze sie vor dem Start und bei jeder Prüfung danach.

• 1. Stimmt die Antwort?: Passt sie zu deinen tatsächlichen Richtlinien, Produktangaben und der echten Bestellung des Kunden? Eine Antwort, die richtig klingt, aber eine Rückgabefrist erfindet, ist die teuerste Art von Fehler.
• 2. Ist sie belegt?: Kannst du zeigen, woher die Antwort kommt: ein Hilfeartikel, eine Richtlinie, der Bestelldatensatz? Wenn du es nicht kannst, konnte es der Agent auch nicht.
• 3. Hat er die Regeln befolgt?: Grenzen für Erstattungen, Rabattregeln, was er selbst ändern darf und was einen Menschen braucht.
• 4. Hat er getan, was er gesagt hat?: Wenn er sagt, die Adresse sei geändert oder das Abo pausiert, stimmt das in deinem Shop wirklich?
• 5. Hat er im richtigen Moment übergeben?: Nicht zu früh, das verschwendet die Zeit deines Teams, und nicht zu spät, das frustriert den Kunden.
• 6. Klingt er nach dir?: Ton, Länge und die Wörter, die deine Marke nutzt und nicht nutzt.

Vor dem Start: die Checkliste vor dem Abflug

Schalte einen KI-Agenten nicht für alle Kunden ein und hoffe. Investiere zuerst ein paar Stunden in Tests. Ziel ist, seine schlechtesten Antworten zu sehen, solange nur dein Team sie sieht.

Schritt 1: Schreib deine 30 häufigsten Fragen auf

Nimm sie aus deinem Posteingang. Die meisten Shops finden oben dieselben paar: Wo ist meine Bestellung, Adresse ändern, Abo aussetzen oder pausieren, Rücksendung oder Umtausch, ein Rabattcode, der nicht funktioniert hat, Passform oder Inhaltsstoffe. Füg fünf unangenehme hinzu: ein verärgerter Kunde, eine Anfrage außerhalb deiner Regeln, eine Frage zu einem Produkt, das du nicht verkaufst, jemand, der nach einem Menschen fragt, und jemand, der an die Daten eines anderen Kunden kommen will.

Schritt 2: Prüf das Wissen, bevor du die Antworten prüfst

• Ist jede Richtlinie, die der Agent braucht, irgendwo aufgeschrieben, wo er sie lesen kann: Rücksendungen, Versandzeiten, Abo-Änderungen, Garantien?
• Widersprechen sich zwei Dokumente? Eine alte und eine neue Versandseite erzeugen Antworten, die zwischen beiden hin und her springen.
• Sind Ausnahmen als Regeln aufgeschrieben („Beschädigte Artikel erstatten wir ohne Rücksendung, wenn der Kunde ein Foto schickt“), statt im Kopf einer Person zu stecken?
• Steht dort etwas, das Kunden nie hören sollten, etwa interne Margen oder Namen von Lieferanten?

Die meisten falschen KI-Antworten gehen auf fehlendes oder widersprüchliches Ausgangsmaterial zurück, nicht auf die KI selbst. Korrigierst du die Quelle, korrigierst du jede künftige Antwort auf einmal. Der Glossareintrag zu belegten Antworten erklärt, warum das zählt.

Schritt 3: Führ die Testgespräche

Stell jede deiner 30 Fragen über die Kanäle, die Kunden wirklich nutzen: den Chat auf deiner Website, eine SMS an deine Nummer, eine E-Mail. Nutze einen echten Testkunden mit echten Bestellungen, damit der Agent etwas nachschlagen kann. Bewerte bei jeder Antwort die sechs Fragen oben mit bestanden oder nicht bestanden und notiere den Grund.

Schritt 4: Teste jede Aktion, nicht nur jede Antwort

• Bitte ihn, eine Adresse zu ändern, und prüf dann die Bestellung in Shopify.
• Bitte ihn, ein Abo auszusetzen oder zu pausieren, und prüf dann das Abo.
• Fordere eine Erstattung über deinem Limit an und bestätige, dass er auf einen Menschen wartet, statt sie auszuführen.
• Bitte um etwas, das er gar nicht tun sollte, und bestätige, dass er das klar sagt.

Ein Agent, der handeln kann, braucht vor dem Start Freigaberegeln: welche Aktionen er allein ausführen darf, welche ein Ja eines Teammitglieds brauchen und wer dieses Teammitglied ist.

Schritt 5: Teste die Übergabe

Frag nach einem Menschen. Werd wütend. Frag etwas, das er nicht beantworten kann. Prüf dann, was dein Team bekommt: Sieht das Teammitglied das Gespräch, wer der Kunde ist und was schon versucht wurde, oder muss es von vorn anfangen? Eine Übergabe, die den Kontext verliert, macht den Großteil der guten Arbeit davor zunichte.

Schritt 6: Leg deine Messlatte für den Start fest

Schreib auf, was „bereit“ heißt, bevor du dir die Ergebnisse ansiehst, damit du dir den Start nicht schönredest. Eine vernünftige Messlatte: keine falschen Fakten zu Richtlinien oder Bestellungen, jede Aktion tut, was sie sagt, jede Übergabe kommt mit Kontext an, und Probleme im Ton sind höchstens geringfügig. Korrigiere und teste erneut, bis du sie erreichst. Viele Teams starten mit einem Kanal oder nur mit Gesprächen nach Feierabend und erweitern dann.

Nach dem Start: was du prüfst und wie oft

Tests vor dem Start finden die Fragen, an die du gedacht hast. Kunden stellen die, an die du nicht gedacht hast. Plane eine Prüfroutine, bevor du live gehst.

Stichproben ziehen, ohne alles zu lesen

• Lies jedes riskante Gespräch: Erstattungen, Kündigungen, Beschwerden, alles, was mit einer Übergabe endete, und alles, bei dem der Kunde innerhalb weniger Tage wegen desselben Problems wieder geschrieben hat.
• Zieh Stichproben aus den Routinegesprächen: Eine kleine, feste Zahl pro Thema und Woche, etwa fünf Gespräche zum Bestellstatus und fünf zu Abos. Feste Zahlen pro Thema verhindern, dass ein stark gefragtes Thema die anderen verdrängt.
• Wechsle die Prüfenden: Verschiedene Menschen bemerken verschiedene Probleme. Die Person, die die Rückgaberegeln geschrieben hat, erkennt eine falsche Antwort zu Rücksendungen, die einer neuen Mitarbeiterin entgeht.
• Führ ein Protokoll: Für jeden Fehler: das Gespräch, welche der sechs Prüfungen es nicht bestanden hat, die Ursache (fehlendes Wissen, falsche Regel, falscher Ton, falsche Aktion) und die Korrektur. Am Protokoll erkennst du Muster.

Ein Bewertungsbogen zum Übernehmen

Halte ihn so kurz, dass Prüfende ihn wirklich nutzen. Bewerte jedes Gespräch in diesen Punkten mit bestanden oder nicht bestanden, mit einer Notiz in einer Zeile bei jedem Nicht bestanden.

• Fakten: Jede Angabe zu Richtlinien, Produkt und Bestellung war richtig.
• Quelle: Die Antwort kam aus deinen freigegebenen Informationen oder den Daten des Kunden.
• Regeln: Er blieb innerhalb der Grenzen für Erstattungen, Rabatte und Änderungen und bat, wo nötig, um Freigabe.
• Aktionen: Jede Änderung, die er gemeldet hat, ist im Shop sichtbar.
• Übergabe: Er hat übergeben, als er sollte, mit Kontext, und nicht vorher.
• Ton: Er klang nach deiner Marke und hielt die Antworten angemessen kurz.
• Ergebnis: Das Problem des Kunden ist gelöst, oder der Kunde weiß genau, was als Nächstes passiert.

Aus Befunden Korrekturen machen

Eine Prüfung lohnt sich nur, wenn sie verändert, was der Agent als Nächstes tut. Ordne jeder Art von Fehler die Korrektur zu, die ihn verhindert.

Widersteh dem Drang, einzelne Gespräche von Hand zu korrigieren und weiterzumachen. Ist die Ursache noch da, geht morgen dieselbe Antwort raus.

Fehler, die du vermeiden solltest

• Nur Gespräche lesen, die die KI übergeben hat. Die schlimmsten Fehler sind oft selbstsichere Antworten, die niemand hinterfragt hat.
• Nur nach Ticketvermeidung urteilen. Ein Kunde, der aufgegeben hat, sieht genauso aus wie einer, dem geholfen wurde. Den Unterschied erklären Ticketvermeidung und KI-Lösungsquote.
• Einmal testen und nie wieder. Jedes neue Produkt, jede neue Richtlinie und jede Aktion ist ein neuer Test.
• Freigaberegeln auf einmal lockern. Erweitere, was der Agent allein darf, Aktion für Aktion, nachdem er diese Aktion mit Freigabe gut erledigt hat.
• Die Prüfung in einer Tabelle führen, die niemand liest. Bring die Korrektur in das Wissen und die Regeln des Agenten, wo sie sein Verhalten ändert.

Wie Chargezen hilft

Concierge ist das Team digitaler Mitarbeiter von Chargezen und darauf ausgelegt, geprüft zu werden. So passt jeder Teil dieser Checkliste zu dem, was er tut:

• Antworten aus deinen freigegebenen Informationen: Concierge antwortet aus den Richtlinien, Produktangaben und Markenregeln, die du ihm gibst. Siehe freigegebene Antworten.
• Freigaben, die du steuerst: Wähl, was jeder Agent allein tun darf und was auf ein Ja wartet. Erstattungen und andere große Schritte schicken eine Anfrage, die genau sagt, was passieren wird. Siehe Freigaben und Protokoll.
• Beweis vor „erledigt“: Concierge prüft echte Ergebnisse, bevor er Erfolg meldet, sagt klar, was noch offen ist, und hält jeden Schritt fest.
• Rechenweg zeigen: Bei Antworten aus deinen Daten listet „Show work“ die Daten, die der Agent gelesen hat, und die Befehle, die er ausgeführt hat, samt Ausgabe, damit du eine Zahl prüfen kannst, statt ihr zu vertrauen. Siehe Datenanalyse.
• Jedes Gespräch in einem Posteingang: Dein Team sieht in jedem Kanal, was Concierge gesagt und getan hat, und kann mit einem Klick übernehmen. Siehe den Team-Posteingang und die Übergabe an Menschen.
• Korrekturen, die halten: Schreib deine Methoden als Leitfäden auf. Wenn ein Teammitglied übernimmt, notiert Concierge, wie es den Fall gelöst hat, und du kannst alles, was er gelernt hat, prüfen, bearbeiten oder vergessen lassen. Siehe Lernen.

Concierge Starter kostet US$20 pro Monat mit 20.000 Credits. Pro kostet US$199 pro Monat mit 199.000 Credits oder US$1.990 pro Jahr. Du kannst auch dein eigenes OpenAI- oder Anthropic-Konto verbinden. Siehe Preise.

Verwandte Begriffe: KI-Halluzination, menschliche Kontrolle und Protokoll. Verwandte Leitfäden: Kennzahlen für den Kundenservice von Onlineshops, Konversations-KI im E-Commerce und Wann ein KI-Agent einen Menschen dazuholen sollte.

Häufige Fragen

Wie viele KI-Gespräche sollte ich pro Woche prüfen?

Lies jedes riskante Gespräch (Erstattungen, Kündigungen, Beschwerden, Übergaben, wiederholte Kontakte) und eine kleine feste Stichprobe der Routinegespräche pro Thema. In den ersten zwei Wochen nach dem Start lies mehr. Reduziere, sobald eine Wochenprüfung nichts Neues findet.

Sollten KI-Gespräche dasselbe QA-Raster nutzen wie menschliche Mitarbeiter?

Größtenteils. Behalte die Teile zu Genauigkeit, Richtlinien und Ergebnis. Füg zwei Prüfungen hinzu, die bei KI wichtiger sind: ob jede Antwort auf deinen eigenen Informationen beruht und ob jede Aktion, die sie gemeldet hat, wirklich passiert ist.

Was ist die häufigste Ursache falscher KI-Antworten?

Fehlendes oder widersprüchliches Ausgangsmaterial: eine alte Richtlinienseite, zwei Dokumente, die sich widersprechen, oder eine Ausnahme, die nie aufgeschrieben wurde. Korrigiere die Quelle, und jede spätere Antwort wird besser.

Wann kann ein KI-Agent ohne Freigabe handeln?

Wenn er genau diese Aktion eine Weile mit Freigabe richtig erledigt hat, die Aktion leicht rückgängig zu machen ist und wenig auf dem Spiel steht. Antworten zum Bestellstatus können als Erstes ohne Freigabe laufen. Erstattungen und Kündigungen behalten meist länger einen Freigabeschritt.