Cómo revisar el trabajo de un agente de IA sin rehacerlo

Para revisar el trabajo de un agente de IA sin volver a hacerlo, ajusta tu esfuerzo al riesgo: revisa una muestra del trabajo de poco riesgo, lee cómo llegó a las respuestas importantes, compara los informes con una fuente en la que confías y deja a una persona en todo lo que mueva dinero. Revísalo todo al principio y luego revisa menos a medida que un trabajo demuestre ser fiable.

Si vuelves a comprobar cada línea, el agente no te ahorra nada. Si nunca revisas, descubres sus errores cuando los descubre un cliente. Hay un término medio práctico, y se parece a cómo revisarías a una persona recién contratada: de cerca al principio, y luego de forma ligera y deliberada.

Leer el trabajo detrás de una respuesta es mucho más rápido que volver a hacerlo. Buscas los datos correctos, el periodo correcto y pasos sensatos. En Concierge, haz clic en Show work debajo de la respuesta de un agente. Work behind this answer enumera los datos leídos y los comandos ejecutados en su computadora, y las líneas de progreso muestran los pasos en el navegador a medida que ocurren.

• ¿Usó la fuente correcta?: Pedidos de tu tienda, no una exportación desactualizada.
• ¿Usó el periodo correcto?: Comprueba las fechas de inicio y fin, y la zona horaria.
• ¿Usó tus definiciones?: Por ejemplo, si las ventas netas no incluyen el envío.
• ¿Dejó algo fuera?: Puede que haya que excluir los pedidos de prueba, pero no los pedidos reales.

Crea un conjunto breve de pruebas antes de confiar en un agente: de 10 a 20 solicitudes reales cuya respuesta correcta conozcas. Incluye algunas incómodas. Ejecútalas al empezar, y otra vez después de cambiar sus instrucciones, guías de trabajo o modelo.

• Una cifra que puedas confirmar en Shopify, como los pedidos del mes pasado.
• Una pregunta sobre políticas con una respuesta clara, y otra con una excepción.
• Una solicitud que debería rechazar o pasar a una persona.
• Una pregunta que no puede responder con lo que tiene. Debería decirlo en lugar de adivinar.
• Un cliente que no ha verificado quién es y pide datos privados.

Para los agentes para clientes, usa Playground en Concierge para probar esto sin afectar a clientes reales.

Puedes pedirle a un agente que haga parte de la revisión. Una buena instrucción o guía de trabajo incluye líneas como estas:

• “Confirma que las filas de productos suman el total antes de responder.”
• “Indica qué fechas y pedidos contaste.”
• “Si faltan datos, di qué falta. No hagas estimaciones.”
• “Dime qué tan seguro estás y qué cambiaría tu respuesta.”
• “Compara esto con el mes pasado y señala todo lo que haya cambiado más del 20 %.”

Esto no reemplaza tu revisión, porque un agente también puede equivocarse sobre su propio trabajo. Sí hace que los errores sean más fáciles de ver, y un total que no cuadra se convierte en una señal evidente.

Una alucinación de IA es una afirmación falsa dicha con seguridad. La mejor defensa para las respuestas a clientes es evitarla en lugar de detectarla. Las respuestas aprobadas de Concierge mantienen a los agentes dentro de tus políticas, datos de producto y reglas de marca, y no en la web abierta ni en notas antiguas. Así que revisa tus fuentes además de tus respuestas: una política de devoluciones desactualizada producirá una respuesta segura y desactualizada.

• Toma muestras al azar: Lee un número fijo cada semana, para ver conversaciones normales y no solo quejas.
• Lee cada transferencia a una persona: Muestran dónde se quedó el agente sin conocimiento o sin seguridad.
• Revisa los contactos repetidos: Un cliente que vuelve a escribir sobre lo mismo quizá no recibió ayuda la primera vez.
• Mira los casos atípicos: Lee las conversaciones más largas y aquellas en las que un cliente parece descontento.
• Puntúa unas pocas cosas de forma coherente: ¿Fue correcto, siguió la política, fue adecuado el tono? Nuestra lista de control de calidad te da un punto de partida.

En Concierge, cada conversación está en Operate, luego Inbox, y el trabajo anterior está en Operate, luego History. Tu equipo puede intervenir en cualquier conversación, y el agente deja de responder hasta que se la devuelven.

• Corrige el resultado: Corrige el informe o haz un seguimiento con el cliente.
• Encuentra la causa: ¿Fue una definición que faltaba, una fuente antigua, instrucciones débiles o demasiado acceso?
• Corrige la causa en el lugar correcto: Usa una memoria para una regla, una guía de trabajo para un método, un cambio de capacidad para el acceso y una actualización de la fuente para los datos.
• Añádelo a tu conjunto de pruebas: Ese error ahora se comprueba cada vez.
• Piensa en el efecto más amplio: Si pasó una vez, busca otros casos.

En Concierge, puedes corregir a un agente con palabras sencillas, por ejemplo: “De ahora en adelante, pon los reembolsos primero en el informe semanal”. Lo guarda como una memoria, con Undo y Edit a mano. Consulta memoria o guías de trabajo.

Baja por etapas, un trabajo cada vez. El momento adecuado depende del trabajo y de cuánto ves de él, así que define tu propio nivel de antemano.

• Etapa 1: revísalo todo: Compara cada resultado con la versión manual.
• Etapa 2: revisa las cifras clave: Después de un periodo sin errores, revisa solo los totales y lo que parezca inusual.
• Etapa 3: toma muestras: Revisa unos pocos cada semana, y lee todo lo que el agente señale.
• Vuelta a la etapa 1: Regresa aquí después de cambiar el modelo, las instrucciones o el proceso de fondo.

• Lee cinco trabajos al azar y abre el trabajo detrás de dos de ellos.
• Lee las transferencias a una persona de la semana, o una muestra si son muchas.
• Compara un total clave de un informe con tu fuente de confianza.
• Comprueba que las correcciones de la semana pasada se mantuvieron.
• Añade cualquier error nuevo a tu conjunto de pruebas.

• Cifras redondas o extrañamente ordenadas: Los datos reales de una tienda rara vez son tan limpios. Comprueba de dónde salieron.
• Sin fechas ni fuentes: Una respuesta que no dice qué contó es difícil de creer o de revisar.
• Totales que no cuadran: Pídele que concilie las partes con el total.
• Una respuesta muy distinta a la misma pregunta: Esto suele indicar que falta una definición.
• Cambios repentinos después de una actualización: Vuelve a ejecutar tu conjunto de pruebas después de cualquier cambio en las instrucciones o los modelos.
• Respuestas seguras sobre cosas que no puede saber: Pregúntale qué necesitaría para estar seguro.

Concierge registra cada solicitud, aprobación y acción en la conversación, muestra el trabajo detrás de cada respuesta, mantiene las respuestas a clientes dentro de fuentes aprobadas y pasa el caso a tu equipo cuando debe. Las páginas de análisis de datos e informe semanal muestran cómo se comprueban los informes antes de enviarlos.

Sigue leyendo: cómo mantener la supervisión humana, los primeros 30 días y cómo implementar un agente de soporte por etapas. Glosario: registro de auditoría, alucinación de IA y supervisión humana.

Compara el resultado con una fuente en la que confías, lee cómo llegó a la respuesta y pruébalo con preguntas cuyo resultado ya conoces. Pon tu esfuerzo donde los errores costarían más y toma muestras del resto.

Revísalo de cerca al principio y después de cualquier cambio en sus instrucciones o su modelo. Cuando un trabajo sea fiable, una revisión semanal breve de una muestra al azar y de todas las transferencias a una persona es una rutina sensata para la mayoría de los equipos pequeños.

Todo lo que mueva dinero o sea difícil de deshacer. En Concierge, los agentes nunca mueven dinero, así que los reembolsos los aprueba una persona de tu equipo. Las situaciones delicadas con clientes y los problemas legales o de seguridad también deberían ir a una persona.

No puedes eliminar el riesgo del todo, pero puedes reducirlo. Limita las respuestas a clientes a fuentes aprobadas, dile al agente que diga qué falta en lugar de adivinar y pruébalo con preguntas que no puede responder.