Comment vérifier le travail d’un agent IA sans le refaire

Pour vérifier le travail d’un agent IA sans le refaire, adaptez votre effort au risque : contrôlez par sondage un échantillon du travail à faible enjeu, lisez comment il a obtenu les réponses importantes, comparez les rapports à une source fiable et gardez une personne sur tout ce qui déplace de l’argent. Vérifiez tout au début, puis moins à mesure qu’un travail se montre fiable.

Si vous revérifiez chaque ligne, l’agent ne vous fait rien gagner. Si vous ne vérifiez jamais, vous découvrez ses erreurs en même temps qu’un client. Il existe un juste milieu pratique, proche de la façon dont vous reliriez une nouvelle recrue : de près au début, puis légèrement et de façon délibérée.

Lire le travail derrière une réponse est bien plus rapide que de le refaire. Vous cherchez les bonnes données, la bonne période et des étapes sensées. Dans Concierge, cliquez sur Show work sous la réponse d’un agent. Work behind this answer liste les données lues et les commandes exécutées sur son ordinateur, et des lignes de progression montrent les étapes dans le navigateur au fur et à mesure.

• A-t-il utilisé la bonne source ? : Les commandes de votre boutique, pas un export périmé.
• A-t-il utilisé la bonne période ? : Vérifiez les dates de début et de fin, et le fuseau horaire.
• A-t-il utilisé vos définitions ? : Par exemple, si les ventes nettes excluent la livraison.
• A-t-il laissé quelque chose de côté ? : Les commandes de test sont parfois à exclure, mais pas les vraies commandes.

Préparez un court jeu de test avant de vous fier à un agent : 10 à 20 vraies demandes dont vous connaissez la bonne réponse. Incluez-en quelques-unes délicates. Exécutez-les au démarrage, puis de nouveau après avoir changé ses instructions, ses marches à suivre ou son modèle.

• Un chiffre que vous pouvez confirmer dans Shopify, comme les commandes du mois dernier.
• Une question de politique avec une réponse claire, et une autre avec une exception.
• Une demande qu’il doit refuser ou transmettre à une personne.
• Une question à laquelle il ne peut pas répondre avec ce qu’il a. Il doit le dire au lieu de deviner.
• Un client dont l’identité n’est pas vérifiée et qui demande des informations privées.

Pour les agents clients, utilisez Playground dans Concierge pour essayer tout cela sans toucher aux vrais clients.

Vous pouvez demander à un agent de faire lui-même une partie des vérifications. Une bonne instruction ou une bonne marche à suivre contient des lignes comme celles-ci :

• « Confirme que les lignes de produits s’additionnent pour donner le total avant de répondre. »
• « Indique quelles dates et quelles commandes tu as comptées. »
• « S’il manque des données, dis ce qui manque. Ne fais pas d’estimation. »
• « Dis-moi à quel point tu es sûr, et ce qui changerait ta réponse. »
• « Compare avec le mois dernier et signale tout ce qui a changé de plus de 20 %. »

Cela ne remplace pas votre relecture, car un agent peut aussi se tromper sur son propre travail. Mais les erreurs deviennent plus faciles à voir, et un total qui ne colle pas devient un signal évident.

Une hallucination de l’IA est une affirmation fausse donnée avec assurance. Pour les réponses aux clients, la meilleure défense est de la prévenir plutôt que de la repérer. Les réponses approuvées de Concierge limitent les agents à vos politiques, aux informations sur vos produits et aux règles de votre marque, et non au web ouvert ou à d’anciennes notes. Vérifiez donc vos sources autant que vos réponses : une politique de retours périmée produira une réponse assurée et périmée.

• Prenez des échantillons au hasard : Lisez un nombre fixe chaque semaine, pour voir des conversations ordinaires et pas seulement des réclamations.
• Lisez chaque transfert : Ils montrent où l’agent a manqué de connaissances ou d’assurance.
• Vérifiez les contacts répétés : Un client qui réécrit sur le même sujet n’a peut-être pas été aidé la première fois.
• Regardez les cas atypiques : Lisez les conversations les plus longues et celles où un client semble mécontent.
• Notez quelques points de façon constante : Était-ce correct, a-t-il suivi la politique, le ton était-il juste ? Notre liste de contrôle qualité vous donne un point de départ.

Dans Concierge, chaque conversation se trouve dans Operate, puis Inbox, et le travail passé dans Operate, puis History. Les membres de votre équipe peuvent intervenir dans n’importe quelle conversation, et l’agent cesse de répondre jusqu’à ce qu’on la lui rende.

• Corrigez le résultat : Corrigez le rapport, ou recontactez le client.
• Trouvez la cause : Était-ce une définition manquante, une ancienne source, des instructions faibles ou un accès trop large ?
• Corrigez la cause au bon endroit : Utilisez une mémoire pour une règle, une marche à suivre pour une méthode, un changement de capacité pour un accès et une mise à jour de la source pour des faits.
• Ajoutez-la à votre jeu de test : Cette erreur est désormais vérifiée à chaque fois.
• Pensez à l’effet plus large : Si c’est arrivé une fois, cherchez d’autres cas.

Dans Concierge, vous pouvez corriger un agent avec des mots simples, par exemple « Désormais, mets les remboursements en premier dans le rapport hebdomadaire. » Il l’enregistre comme mémoire, avec Undo et Edit à portée de main. Voir mémoire ou marche à suivre.

Réduisez par paliers, un travail à la fois. Le bon moment dépend du travail et de la quantité que vous en voyez : fixez donc votre propre seuil à l’avance.

• Palier 1 : tout vérifier : Comparez chaque résultat à la version manuelle.
• Palier 2 : vérifier les chiffres clés : Après une période sans erreur, ne vérifiez que les totaux et ce qui semble inhabituel.
• Palier 3 : échantillonner : Relisez-en quelques-uns chaque semaine, et lisez tout ce que l’agent signale.
• Retour au palier 1 : Revenez-y après avoir changé le modèle, les instructions ou le processus sous-jacent.

• Lisez cinq travaux pris au hasard, et ouvrez le travail derrière deux d’entre eux.
• Lisez les transferts de la semaine, ou un échantillon s’ils sont nombreux.
• Comparez le total d’un rapport clé à votre source fiable.
• Vérifiez que les corrections de la semaine dernière ont tenu.
• Ajoutez les nouvelles erreurs à votre jeu de test.

• Des chiffres ronds ou étrangement nets : Les vraies données d’une boutique sont rarement bien rangées. Vérifiez d’où ils viennent.
• Pas de dates ni de sources : Une réponse qui ne dit pas ce qu’elle a compté est difficile à croire et à vérifier.
• Des totaux qui ne collent pas : Demandez-lui de rapprocher les parties du tout.
• Une réponse très différente à la même question : Cela indique souvent une définition manquante.
• Des changements soudains après une mise à jour : Relancez votre jeu de test après tout changement d’instructions ou de modèle.
• Des réponses assurées sur ce qu’il ne peut pas savoir : Demandez-lui ce dont il aurait besoin pour en être sûr.

Concierge enregistre chaque demande, approbation et action dans la conversation, montre le travail derrière chaque réponse, limite les réponses aux clients à des sources approuvées et transmet à votre équipe quand il le faut. Les pages analyse de données et rapport hebdomadaire montrent comment les rapports sont vérifiés avant leur envoi.

À lire ensuite : comment garder une personne dans la boucle, les 30 premiers jours et déployer un agent de service client par étapes. Glossaire : piste d’audit, hallucination de l’IA et intervention humaine dans la boucle.

Comparez-le à une source fiable, lisez comment elle a obtenu la réponse et testez-la sur des questions dont vous connaissez déjà le résultat. Concentrez vos efforts là où les erreurs coûteraient le plus, et prenez des échantillons pour le reste.

Relisez de près au début et après tout changement de ses instructions ou de son modèle. Quand un travail est fiable, une courte revue hebdomadaire d’un échantillon aléatoire et de tous les transferts est une routine raisonnable pour la plupart des petites équipes.

Tout ce qui déplace de l’argent ou est difficile à annuler. Dans Concierge, les agents ne déplacent jamais d’argent : un membre de votre équipe approuve donc les remboursements. Les situations délicates avec les clients et les questions juridiques ou de sécurité doivent aussi aller à une personne.

Vous ne pouvez pas supprimer entièrement le risque, mais vous pouvez le réduire. Limitez les réponses aux clients à des sources approuvées, dites à l’agent de préciser ce qui manque au lieu de deviner, et testez-le avec des questions auxquelles il ne peut pas répondre.