El control de calidad en la atención al cliente solía significar que un jefe de equipo leía unas cuantas consultas cada semana y las puntuaba con una rúbrica. Eso sigue funcionando para las personas. Un agente de IA necesita el mismo cuidado, con dos diferencias: responde muchas más conversaciones que cualquier persona y, cuando se equivoca, suele equivocarse siempre de la misma manera.
En cierto modo, es una buena noticia. Un error que encuentras una vez se puede corregir una vez. Esta lista explica cómo revisar un agente de IA antes de que hable con un solo cliente, qué mirar cuando ya está en marcha y cómo convertir lo que encuentras en correcciones que duren.
Qué estás revisando
La mayoría de las rúbricas de control de calidad para agentes humanos puntúan la empatía, la exactitud, el proceso y la resolución. Para un agente de IA, divídelo en seis preguntas. Úsalas antes del lanzamiento y en cada revisión posterior.
- 1. ¿La respuesta es cierta?: ¿Coincide con tus políticas reales, los datos de tus productos y el pedido real del cliente? Una respuesta que suena bien pero inventa un plazo de devolución es el tipo de error más caro.
- 2. ¿Está fundamentada?: ¿Puedes señalar de dónde salió la respuesta: un artículo de ayuda, una política, el registro del pedido? Si tú no puedes, el agente tampoco podría.
- 3. ¿Siguió las reglas?: Límites de reembolso, reglas de descuento, lo que puede cambiar por su cuenta y lo que necesita a una persona.
- 4. ¿Hizo lo que dijo?: Si dice que la dirección está cambiada o que la suscripción está en pausa, ¿es eso cierto de verdad en tu tienda?
- 5. ¿Pasó el caso en el momento adecuado?: Ni demasiado pronto, porque hace perder tiempo a tu equipo, ni demasiado tarde, porque frustra al cliente.
- 6. ¿Suena como tú?: El tono, la extensión y las palabras que tu marca usa y no usa.
Antes del lanzamiento: la lista previa
No actives un agente de IA para todos los clientes con la esperanza de que salga bien. Dedica antes unas horas a probarlo. El objetivo es ver sus peores respuestas mientras solo tu equipo puede verlas.
Paso 1: anota tus 30 preguntas principales
Sácalas de tu bandeja de entrada. La mayoría de las tiendas encuentran las mismas pocas arriba de todo: dónde está mi pedido, cambiar mi dirección, saltar o pausar mi suscripción, devolución o cambio, un código de descuento que no funcionó, la talla o los ingredientes de un producto. Agrega cinco incómodas: un cliente enojado, una solicitud fuera de tu política, una pregunta sobre un producto que no vendes, alguien que pide hablar con una persona y alguien que intenta conseguir los datos de otro cliente.
Paso 2: revisa el conocimiento antes de revisar las respuestas
- ¿Cada política que necesita el agente está escrita en algún lugar que pueda leer: devoluciones, plazos de envío, cambios de suscripción, garantías?
- ¿Hay dos documentos que se contradigan? Una página de envíos antigua y una nueva producirán respuestas que saltan de una a otra.
- ¿Las excepciones están escritas como reglas (“reembolsamos los artículos dañados sin devolución si el cliente envía una foto”) en lugar de quedarse en la cabeza de alguien?
- ¿Hay algo ahí que los clientes nunca deberían oír, como márgenes internos o nombres de proveedores?
La mayoría de las respuestas equivocadas de la IA vienen de material de origen que falta o se contradice, no de la propia IA. Corregir la fuente corrige de una vez todas las respuestas futuras. La entrada del glosario sobre respuestas fundamentadas explica por qué importa.
Paso 3: haz las conversaciones de prueba
Haz cada una de tus 30 preguntas por los canales que de verdad usan los clientes: el chat de tu sitio, un SMS a tu número, un email. Usa un cliente de prueba real con pedidos reales para que el agente tenga algo que buscar. En cada respuesta, puntúa las seis preguntas de arriba como superada o no superada y anota por qué.
Paso 4: prueba cada acción, no solo cada respuesta
- Pídele que cambie una dirección y luego revisa el pedido en Shopify.
- Pídele que salte o pause una suscripción y luego revisa la suscripción.
- Pide un reembolso por encima de tu límite y confirma que espera a una persona en lugar de seguir adelante.
- Pide algo que no debería hacer en absoluto y confirma que lo dice claramente.
Un agente que puede actuar necesita reglas de aprobación antes del lanzamiento: qué acciones puede hacer solo, cuáles necesitan el sí de un compañero y quién es ese compañero.
Paso 5: prueba el traspaso
Pide hablar con una persona. Enójate. Pregunta algo que no pueda responder. Luego revisa lo que recibe tu equipo: ¿el compañero ve la conversación, quién es el cliente y qué se ha intentado, o tiene que empezar de cero? Un traspaso que pierde el contexto deshace casi todo el buen trabajo previo.
Paso 6: decide tu nivel mínimo para lanzar
Anota qué significa “listo” antes de mirar las puntuaciones, para no convencerte a ti mismo de lanzar. Un nivel razonable: ningún dato equivocado sobre políticas o pedidos, cada acción hace lo que dice, cada traspaso llega con contexto y cualquier problema de tono es menor. Corrige y vuelve a probar hasta alcanzarlo. Muchos equipos empiezan con un canal, o solo con las conversaciones fuera del horario, y amplían desde ahí.
Después del lanzamiento: qué revisar y con qué frecuencia
Las pruebas antes del lanzamiento detectan las preguntas en las que pensaste. Los clientes harán las que no pensaste. Planifica una rutina de revisión antes de ponerlo en marcha.
| Cuándo | Qué revisar | Por qué |
|---|---|---|
| A diario, las dos primeras semanas | Cada conversación que el agente pasó a una persona, más cualquiera que resolvió y que implicó un cambio en un pedido o una suscripción | Los primeros errores se repiten. Detéctalos mientras el volumen es pequeño. |
| Cada semana | Una muestra de conversaciones resueltas de tus temas principales, cada conversación con una queja o un contacto repetido y cada solicitud de aprobación | Muestra si “resuelto” significa de verdad solucionado |
| Cada mes | Tendencias: qué temas crecieron, dónde se concentran los traspasos, qué respuestas cambiaron después de actualizar una política | Encuentra lagunas en tu conocimiento y tus reglas |
| Después de cualquier cambio de política o de producto | Hazle tú mismo al agente las preguntas afectadas | Las respuestas antiguas sobreviven a las políticas antiguas |
Cómo tomar muestras sin leerlo todo
- Lee cada conversación de riesgo: Reembolsos, cancelaciones, quejas, todo lo que terminó en un traspaso y todo caso en que el cliente volvió a escribir por el mismo problema en pocos días.
- Toma muestras de las rutinarias: Un número pequeño y fijo por tema cada semana, como cinco conversaciones de estado del pedido y cinco de suscripciones. Un número fijo por tema evita que un tema muy activo tape a los demás.
- Rota a los revisores: Cada persona nota problemas distintos. Quien escribió la política de devoluciones detectará una respuesta equivocada sobre devoluciones que alguien recién contratado no verá.
- Lleva un registro: Para cada fallo: la conversación, cuál de las seis comprobaciones falló, la causa (conocimiento que falta, regla equivocada, mal tono, mala acción) y la corrección. El registro es cómo ves los patrones.
Una hoja de puntuación que puedes copiar
Mantenla lo bastante corta para que los revisores la usen de verdad. Puntúa cada conversación como superada o no superada en estas líneas, con una nota de una línea en cada fallo.
- Datos: cada dato sobre políticas, productos y pedidos era correcto.
- Fuente: la respuesta salió de tu información aprobada o de los registros del cliente.
- Reglas: se mantuvo dentro de los límites de reembolso, descuento y cambios, y pidió aprobación donde hacía falta.
- Acciones: cada cambio que dijo haber hecho se ve en la tienda.
- Traspaso: pasó el caso cuando debía, con contexto, y no antes.
- Tono: sonó como tu marca y mantuvo las respuestas a una extensión razonable.
- Resultado: el problema del cliente se resolvió, o el cliente sabe exactamente qué pasa después.
Convertir los hallazgos en correcciones
Una revisión solo vale la pena si cambia lo que el agente hace después. Relaciona cada tipo de fallo con la corrección que lo evita.
| Qué salió mal | Causa habitual | Corrección |
|---|---|---|
| Dato equivocado | Conocimiento que falta, antiguo o contradictorio | Actualiza o elimina el documento de origen |
| Datos correctos, proceso equivocado | El método vive en la cabeza de alguien | Escríbelo como instrucciones paso a paso que el agente sigue |
| Hizo algo que no debía | Reglas de aprobación demasiado flexibles | Exige aprobación para esa acción |
| Pasó el caso demasiadas veces | Reglas demasiado estrictas, o falta conocimiento | Agrega el conocimiento, o flexibiliza las reglas de una en una |
| Tono que no es de tu marca | Ninguna guía de voz escrita | Agrega reglas de marca con ejemplos de respuestas buenas y malas |
| Dijo que estaba hecho cuando no lo estaba | La acción falló sin avisar | Trátalo como urgente; revisa cómo informa la herramienta de los resultados |
Resiste la tentación de corregir conversaciones sueltas a mano y seguir adelante. Si la causa sigue ahí, mañana sale la misma respuesta.
Errores que evitar
- Leer solo las conversaciones que la IA pasó a una persona. Los peores errores suelen ser respuestas seguras que nadie cuestionó.
- Juzgar solo por la desviación. Un cliente que se rindió se ve igual que uno al que ayudaron. Consulta desviación de consultas y tasa de resolución de la IA para ver la diferencia.
- Probar una vez y nunca más. Cada producto, política o promoción nueva es una prueba nueva.
- Flexibilizar todas las reglas de aprobación a la vez. Amplía lo que el agente puede hacer solo acción por acción, después de que haya hecho bien esa acción con aprobación.
- Dejar la revisión en una hoja de cálculo que nadie lee. Pon la corrección en el conocimiento y las reglas del agente, donde cambia su comportamiento.
Cómo ayuda Chargezen
Concierge es el equipo de empleados digitales de Chargezen, y está hecho para revisarse. Así corresponde cada parte de esta lista a lo que hace:
- Responde con tu información aprobada: Concierge responde con las políticas, los datos de producto y las reglas de marca que le das. Consulta las respuestas aprobadas.
- Aprobaciones que tú controlas: Elige qué puede hacer solo cada agente y qué espera un sí. Los reembolsos y otras acciones importantes envían una solicitud que dice exactamente qué va a pasar. Consulta las aprobaciones y el registro de auditoría.
- Pruebas antes de decir “hecho”: Concierge comprueba los resultados reales antes de informar de que algo salió bien, dice claramente qué queda sin terminar y guarda un registro de cada paso.
- Muestra su trabajo: En las respuestas basadas en tus datos, “Show work” (mostrar el trabajo) enumera los datos que leyó el agente y los comandos que ejecutó, con su resultado, para que puedas comprobar una cifra en lugar de fiarte de ella. Consulta el análisis de datos.
- Cada conversación en una sola bandeja: Tu equipo ve lo que Concierge dijo e hizo en cada canal y puede tomar el control con un clic. Consulta la bandeja de entrada del equipo y el traspaso a una persona.
- Correcciones que duran: Escribe tus métodos como guías de trabajo. Cuando un compañero toma el control, Concierge anota cómo lo resolvió, y puedes revisar, editar u olvidar todo lo que ha aprendido. Consulta el aprendizaje.
Concierge Starter cuesta US$20 al mes con 20 000 créditos. Pro cuesta US$199 al mes con 199 000 créditos, o US$1990 al año. También puedes conectar tu propia cuenta de OpenAI o Anthropic. Consulta los precios.
Términos relacionados: alucinación de la IA, persona en el circuito y registro de auditoría. Guías relacionadas: métricas de atención al cliente para tiendas online, IA conversacional para comercio electrónico y cuándo un agente de IA debe pasar el caso a una persona.
Preguntas frecuentes
¿Cuántas conversaciones de IA debería revisar cada semana?
Lee cada conversación de riesgo (reembolsos, cancelaciones, quejas, traspasos, contactos repetidos) y una pequeña muestra fija de las rutinarias por tema. En las dos primeras semanas después del lanzamiento, lee más. Reduce cuando la revisión de una semana no encuentre nada nuevo.
¿Las conversaciones de IA deberían usar la misma rúbrica de calidad que los agentes humanos?
En su mayoría. Conserva las partes sobre exactitud, políticas y resultado. Agrega dos comprobaciones que importan más en la IA: si cada respuesta se basa en tu propia información y si cada acción que dijo haber hecho ocurrió de verdad.
¿Cuál es la causa más común de las respuestas equivocadas de la IA?
Material de origen que falta o se contradice: una página de políticas antigua, dos documentos que no coinciden o una excepción que nunca se escribió. Corrige la fuente y todas las respuestas posteriores mejoran.
¿Cuándo puedo dejar que un agente de IA actúe sin aprobación?
Cuando ha hecho bien esa acción concreta con aprobación durante un tiempo, la acción es fácil de deshacer y hay poco en juego. Las respuestas sobre el estado del pedido pueden ir primero. Los reembolsos y las cancelaciones suelen mantener un paso de aprobación más tiempo.
