Como conferir o trabalho de um agente de IA sem refazê-lo

Para conferir o trabalho de um agente de IA sem refazê-lo, ajuste o esforço ao risco: confira uma amostra do trabalho de baixo risco, leia como ele chegou às respostas importantes, compare os relatórios com uma fonte de confiança e mantenha uma pessoa em tudo o que movimenta dinheiro. Confira tudo no começo e depois confira menos à medida que um trabalho se mostra confiável.

Se você reconferir cada linha, o agente não economiza nada. Se nunca conferir, vai descobrir os erros dele quando um cliente descobrir. Existe um meio-termo prático, parecido com a forma de avaliar alguém recém-contratado: de perto no começo, depois de forma leve e deliberada.

Ler o trabalho por trás de uma resposta é muito mais rápido do que fazê-lo de novo. Você procura os dados certos, o período certo e etapas que façam sentido. No Concierge, clique em “Mostrar o trabalho” abaixo da resposta de um agente. Work behind this answer lista os dados lidos e os comandos executados no computador dele, e as linhas de progresso mostram as etapas no navegador à medida que acontecem.

• Ele usou a fonte certa?: Pedidos da sua loja, não uma exportação desatualizada.
• Ele usou o período certo?: Confira as datas de início e fim e o fuso horário.
• Ele usou as suas definições?: Por exemplo, se as vendas líquidas excluem o frete.
• Ele deixou algo de fora?: Pedidos de teste podem precisar ser excluídos, mas pedidos reais não.

Monte um pequeno conjunto de testes antes de depender de um agente: de 10 a 20 pedidos reais cuja resposta certa você conhece. Inclua alguns complicados. Rode quando começar e de novo depois de mudar as instruções, os roteiros ou o modelo dele.

• Um número que você consegue confirmar na Shopify, como os pedidos do mês passado.
• Uma pergunta sobre política com resposta clara, e outra com uma exceção.
• Um pedido que ele deve recusar ou passar para uma pessoa.
• Uma pergunta que ele não consegue responder com o que tem. Ele deve dizer isso em vez de adivinhar.
• Um cliente que não verificou quem é, pedindo detalhes privados.

Para agentes de clientes, use o Playground do Concierge para testar isso sem envolver clientes reais.

Você pode pedir ao agente que faça parte da conferência. Uma boa instrução ou roteiro inclui linhas como estas:

• “Confirme que as linhas de produto somam o total antes de responder.”
• “Informe quais datas e pedidos você contou.”
• “Se faltarem dados, diga o que falta. Não estime.”
• “Diga quanta certeza você tem e o que mudaria sua resposta.”
• “Compare com o mês passado e aponte tudo o que mudou mais de 20%.”

Isso não substitui sua revisão, já que um agente também pode errar sobre o próprio trabalho. Mas torna os erros mais fáceis de ver, e um total que não fecha vira um sinal óbvio.

Uma alucinação de IA é uma afirmação falsa dita com confiança. A melhor defesa nas respostas a clientes é evitá-la em vez de tentar pegá-la. As respostas aprovadas do Concierge mantêm os agentes nas suas políticas, informações de produto e regras de marca, e não na web aberta ou em anotações antigas. Portanto, confira suas fontes além das respostas: uma política de devolução desatualizada gera uma resposta confiante e desatualizada.

• Faça amostras ao acaso: Leia um número definido por semana, para ver conversas comuns e não só reclamações.
• Leia cada transferência: Elas mostram onde faltou conhecimento ou confiança ao agente.
• Verifique os contatos repetidos: Um cliente que escreve de novo sobre a mesma coisa talvez não tenha sido ajudado na primeira vez.
• Olhe os casos fora do padrão: Leia as conversas mais longas e aquelas em que o cliente parece insatisfeito.
• Avalie sempre os mesmos pontos: Estava correto, seguiu a política, o tom foi adequado? Nosso checklist de controle de qualidade dá um ponto de partida.

No Concierge, todas as conversas ficam em Operate e depois Inbox, e o trabalho anterior em Operate e depois History. Os membros da equipe podem entrar em qualquer conversa, e o agente para de responder até receber a conversa de volta.

• Corrija o resultado: Corrija o relatório ou retome o contato com o cliente.
• Encontre a causa: Foi uma definição que faltava, uma fonte antiga, instruções fracas ou acesso demais?
• Corrija a causa no lugar certo: Use uma memória para uma regra, um roteiro para um método, uma mudança de capacidade para o acesso e uma atualização de fonte para os fatos.
• Adicione ao seu conjunto de testes: Esse erro agora é verificado toda vez.
• Considere o efeito mais amplo: Se aconteceu uma vez, procure outros casos.

No Concierge, você pode corrigir um agente em palavras simples, por exemplo: “A partir de agora, coloque os reembolsos primeiro no relatório semanal.” Ele salva isso como uma memória, com Undo e Edit ali mesmo. Veja memória ou roteiros.

Reduza por etapas, um trabalho de cada vez. O momento certo depende do trabalho e de quanto dele você vê, então defina seu próprio critério com antecedência.

• Etapa 1: confira tudo: Compare cada resultado com a versão manual.
• Etapa 2: confira os números principais: Depois de um período sem erros, confira só os totais e o que parecer estranho.
• Etapa 3: faça amostras: Revise alguns por semana e leia tudo o que o agente sinalizar.
• De volta à etapa 1: Volte para cá depois de mudar o modelo, as instruções ou o processo por trás.

• Leia cinco trabalhos escolhidos ao acaso e abra o que há por trás de dois deles.
• Leia as transferências da semana, ou uma amostra se forem muitas.
• Compare um total importante de relatório com sua fonte de confiança.
• Confira se as correções da semana passada se mantiveram.
• Adicione os erros novos ao seu conjunto de testes.

• Números redondos ou arrumados demais: Dados reais de loja raramente são certinhos. Confira de onde vieram.
• Sem datas ou fontes: É difícil confiar em uma resposta que não diz o que contou, e também conferi-la.
• Totais que não fecham: Peça a ele que concilie as partes com o todo.
• Uma resposta muito diferente para a mesma pergunta: Isso muitas vezes indica uma definição que falta.
• Mudanças repentinas depois de uma atualização: Rode de novo seu conjunto de testes depois de qualquer mudança nas instruções ou nos modelos.
• Respostas confiantes sobre o que ele não tem como saber: Pergunte do que ele precisaria para ter certeza.

O Concierge registra cada pedido, aprovação e ação na conversa, mostra o trabalho por trás de cada resposta, mantém as respostas aos clientes em fontes aprovadas e transfere para sua equipe quando deve. As páginas de análise de dados e relatório semanal mostram como os relatórios são conferidos antes do envio.

Leia também: como manter um humano no circuito, os primeiros 30 dias e como implantar um agente de atendimento em etapas. Glossário: trilha de auditoria, alucinação de IA e participação humana.

Compare com uma fonte de confiança, leia como ela chegou à resposta e teste com perguntas cujo resultado você já conhece. Coloque seu esforço onde os erros custariam mais e faça amostras do resto.

Revise de perto no começo e depois de qualquer mudança nas instruções ou no modelo. Quando um trabalho é confiável, uma revisão semanal curta de uma amostra aleatória e de todas as transferências é uma rotina sensata para a maioria das equipes pequenas.

Tudo o que movimenta dinheiro ou é difícil de desfazer. No Concierge, os agentes nunca movimentam dinheiro, então um membro da equipe aprova os reembolsos. Situações delicadas com clientes e questões jurídicas ou de segurança também devem ir para uma pessoa.

Você não consegue eliminar o risco por completo, mas consegue reduzi-lo. Limite as respostas aos clientes a fontes aprovadas, instrua o agente a dizer o que falta em vez de adivinhar e teste com perguntas que ele não consegue responder.