Controle de qualidade no atendimento ao cliente costumava significar um líder de equipe lendo alguns chamados por semana e dando notas com base em critérios. Isso ainda funciona para pessoas. Um agente de IA precisa do mesmo cuidado, com duas diferenças: ele responde a muito mais conversas do que qualquer pessoa, e quando erra, tende a errar do mesmo jeito toda vez.
De certa forma, isso é uma boa notícia. Um erro que você encontra uma vez pode ser corrigido uma vez. Esta lista mostra como revisar um agente de IA antes que ele fale com um único cliente, o que olhar quando ele já está no ar e como transformar o que você encontra em correções que ficam.
O que você está conferindo
A maioria dos critérios de qualidade para atendentes humanos avalia empatia, precisão, processo e resolução. Para um agente de IA, divida em seis perguntas. Use-as antes do lançamento e em toda revisão depois.
- 1. A resposta é verdadeira?: Ela corresponde às suas políticas reais, aos fatos dos produtos e ao pedido real do cliente? Uma resposta que parece certa, mas inventa um prazo de devolução, é o tipo de erro mais caro.
- 2. Ela é fundamentada?: Você consegue apontar de onde a resposta veio: um artigo de ajuda, uma política, o registro do pedido? Se você não consegue, o agente também não conseguiria.
- 3. Ele seguiu as regras?: Limites de reembolso, regras de desconto, o que ele pode mudar sozinho e o que precisa de uma pessoa.
- 4. Ele fez o que disse?: Se ele diz que o endereço foi alterado ou que a assinatura foi pausada, isso é mesmo verdade na sua loja?
- 5. Ele passou o atendimento na hora certa?: Nem cedo demais, o que desperdiça o tempo da sua equipe, nem tarde demais, o que frustra o cliente.
- 6. Ele soa como você?: Tom, tamanho e as palavras que sua marca usa e não usa.
Antes do lançamento: a lista de pré-voo
Não ligue um agente de IA para todos os clientes torcendo para dar certo. Passe algumas horas testando antes. O objetivo é ver as piores respostas dele enquanto só a sua equipe pode vê-las.
Passo 1: escreva suas 30 perguntas mais comuns
Tire da sua caixa de entrada. A maioria das lojas encontra as mesmas poucas no topo: cadê meu pedido, mudar meu endereço, pular ou pausar minha assinatura, devolução ou troca, um código de desconto que não funcionou, caimento ou ingredientes de um produto. Acrescente cinco difíceis: um cliente irritado, uma solicitação fora da sua política, uma pergunta sobre um produto que você não vende, alguém pedindo uma pessoa e alguém tentando obter os dados de outro cliente.
Passo 2: confira o conhecimento antes de conferir as respostas
- Toda política de que o agente precisa está escrita num lugar que ele consegue ler: devoluções, prazos de envio, alterações de assinatura, garantias?
- Algum par de documentos se contradiz? Uma página de envio antiga e uma nova vão produzir respostas que alternam entre as duas.
- As exceções estão escritas como regras (“reembolsamos itens danificados sem devolução se o cliente mandar uma foto”) em vez de ficarem na cabeça de alguém?
- Há alguma coisa ali que os clientes nunca devem ouvir, como margens internas ou nomes de fornecedores?
A maioria das respostas erradas da IA vem de material de origem faltando ou contraditório, não da IA em si. Corrigir a fonte corrige todas as respostas futuras de uma vez. O verbete do glossário sobre respostas fundamentadas explica por que isso importa.
Passo 3: faça as conversas de teste
Faça cada uma das suas 30 perguntas pelos canais que os clientes realmente usam: o chat do seu site, um SMS para o seu número, um e-mail. Use um cliente de teste de verdade, com pedidos de verdade, para o agente ter o que consultar. Em cada resposta, marque as seis perguntas acima como aprovada ou reprovada e anote por quê.
Passo 4: teste cada ação, não só cada resposta
- Peça que ele mude um endereço e depois confira o pedido na Shopify.
- Peça que ele pule ou pause uma assinatura e depois confira a assinatura.
- Peça um reembolso acima do seu limite e confirme que ele espera uma pessoa em vez de seguir em frente.
- Peça algo que ele não deve fazer de jeito nenhum e confirme que ele diz isso com clareza.
Um agente que pode agir precisa de regras de aprovação antes do lançamento: quais ações ele pode fazer sozinho, quais precisam de um sim de alguém da equipe e quem é essa pessoa.
Passo 5: teste a transferência
Peça uma pessoa. Fique irritado. Pergunte algo que ele não sabe responder. Depois confira o que sua equipe recebe: a pessoa da equipe vê a conversa, quem é o cliente e o que já foi tentado, ou precisa começar do zero? Uma transferência para uma pessoa que perde o contexto desfaz quase todo o bom trabalho feito antes.
Passo 6: defina seu padrão para lançar
Escreva o que “pronto” significa antes de olhar as notas, para não se convencer a lançar. Um padrão razoável: nenhum fato errado sobre políticas ou pedidos, toda ação faz o que diz, toda transferência chega com contexto e qualquer problema de tom é pequeno. Corrija e teste de novo até chegar lá. Muitas equipes começam com um canal, ou só com as conversas fora do horário, e ampliam a partir daí.
Depois do lançamento: o que revisar, e com que frequência
Testar antes do lançamento pega as perguntas em que você pensou. Os clientes vão fazer as que você não pensou. Planeje uma rotina de revisão antes de entrar no ar.
| Quando | O que revisar | Por quê |
|---|---|---|
| Todo dia, nas duas primeiras semanas | Toda conversa que o agente passou para uma pessoa, mais qualquer uma que ele resolveu e que envolveu uma alteração num pedido ou numa assinatura | Os primeiros erros se repetem. Pegue-os enquanto o volume é pequeno. |
| Toda semana | Uma amostra das conversas resolvidas nos seus principais assuntos, toda conversa com reclamação ou contato repetido e toda solicitação de aprovação | Mostra se “resolvido” significa mesmo solucionado |
| Todo mês | Tendências: que assuntos cresceram, onde as transferências se concentram, que respostas mudaram depois de uma atualização de política | Encontra lacunas no seu conhecimento e nas suas regras |
| Depois de qualquer mudança de política ou de produto | Faça você mesmo ao agente as perguntas afetadas | Respostas antigas sobrevivem a políticas antigas |
Como montar uma amostra sem ler tudo
- Leia toda conversa de risco: Reembolsos, cancelamentos, reclamações, tudo o que terminou numa transferência e tudo em que o cliente escreveu de novo sobre o mesmo assunto em poucos dias.
- Faça amostras das de rotina: Um número pequeno e fixo por assunto toda semana, como cinco conversas de status do pedido e cinco de assinatura. Números fixos por assunto evitam que um assunto movimentado tome o lugar dos outros.
- Alterne quem revisa: Pessoas diferentes percebem problemas diferentes. Quem escreveu a política de devolução vai notar uma resposta errada sobre devolução que alguém recém-contratado não notaria.
- Mantenha um registro: Para cada falha: a conversa, em qual das seis verificações ela falhou, a causa (conhecimento faltando, regra errada, tom ruim, ação ruim) e a correção. O registro é como você enxerga os padrões.
Uma ficha de avaliação para copiar
Mantenha-a curta o bastante para que quem revisa realmente a use. Marque cada conversa como aprovada ou reprovada nestas linhas, com uma nota de uma linha em cada reprovação.
- Fatos: todo fato sobre política, produto e pedido estava correto.
- Fonte: a resposta veio das suas informações aprovadas ou dos registros do cliente.
- Regras: ele ficou dentro dos limites de reembolso, desconto e alteração, e pediu aprovação onde era exigido.
- Ações: toda alteração que ele disse ter feito aparece na loja.
- Transferência: ele passou o atendimento quando devia, com contexto, e não antes.
- Tom: ele soou como sua marca e manteve as respostas num tamanho sensato.
- Resultado: o problema do cliente foi resolvido, ou o cliente sabe exatamente o que acontece em seguida.
Como transformar o que você encontra em correções
Uma revisão só vale a pena se muda o que o agente faz em seguida. Associe cada tipo de falha à correção que a evita.
| O que deu errado | Causa comum | Correção |
|---|---|---|
| Fato errado | Conhecimento faltando, antigo ou contraditório | Atualize ou remova o documento de origem |
| Fatos certos, processo errado | O método está na cabeça de alguém | Escreva como instruções passo a passo que o agente segue |
| Fez algo que não devia | Regras de aprovação frouxas demais | Exija aprovação para essa ação |
| Passou o atendimento vezes demais | Regras rígidas demais, ou conhecimento faltando | Acrescente o conhecimento, ou afrouxe uma regra de cada vez |
| Tom fora da marca | Nenhuma orientação de voz por escrito | Acrescente regras da marca com exemplos de respostas boas e ruins |
| Disse que estava feito quando não estava | A ação falhou sem avisar | Trate como urgente; confira como a ferramenta informa os resultados |
Resista à vontade de corrigir conversas isoladas à mão e seguir em frente. Se a causa continua lá, a mesma resposta sai amanhã.
Erros a evitar
- Ler só as conversas que a IA passou adiante. Os piores erros muitas vezes são respostas confiantes que ninguém questionou.
- Julgar só pelos chamados evitados. Um cliente que desistiu parece igual a um que foi ajudado. Veja chamados evitados e taxa de resolução da IA para entender a diferença.
- Testar uma vez e nunca mais. Todo produto, política ou promoção nova é um novo teste.
- Afrouxar as regras de aprovação de uma vez. Amplie o que o agente pode fazer sozinho uma ação de cada vez, depois que ele tiver feito bem essa ação com aprovação.
- Deixar a revisão numa planilha que ninguém lê. Coloque a correção no conhecimento e nas regras do agente, onde ela muda o comportamento.
Como a Chargezen ajuda
O Concierge é a equipe de funcionários digitais da Chargezen, e ele foi feito para ser revisado. Veja como cada parte desta lista corresponde ao que ele faz:
- Respostas com base nas suas informações aprovadas: O Concierge responde com base nas políticas, nos fatos dos produtos e nas regras da marca que você entrega. Veja respostas aprovadas.
- Aprovações que você controla: Escolha o que cada agente pode fazer sozinho e o que espera um sim. Reembolsos e outras ações grandes mandam uma solicitação que diz exatamente o que vai acontecer. Veja aprovações e histórico.
- Prova antes do “pronto”: O Concierge confere os resultados reais antes de informar que deu certo, diz com clareza o que ficou por fazer e guarda um registro de cada passo.
- Mostrar o trabalho: Nas respostas montadas com seus dados, “Mostrar o trabalho” lista os dados que o agente leu e os comandos que executou, com o resultado, para você conferir um número em vez de confiar nele. Veja análise de dados.
- Todas as conversas numa caixa de entrada: Sua equipe vê o que o Concierge disse e fez em todos os canais e pode assumir com um clique. Veja a caixa de entrada da equipe e Transferência para uma pessoa.
- Correções que ficam: Escreva seus métodos como roteiros. Quando alguém da equipe assume, o Concierge anota como a pessoa resolveu, e você pode revisar, editar ou apagar qualquer coisa que ele aprendeu. Veja aprendizado.
O Concierge Starter custa US$20 por mês com 20.000 créditos. O Pro custa US$199 por mês com 199.000 créditos, ou US$1.990 por ano. Você também pode conectar sua própria conta da OpenAI ou da Anthropic. Veja os preços.
Termos relacionados: alucinação da IA, pessoa no controle e trilha de auditoria. Guias relacionados: métricas de atendimento ao cliente para lojas virtuais, IA conversacional para e-commerce e quando um agente de IA deve chamar uma pessoa.
Perguntas frequentes
Quantas conversas da IA devo revisar por semana?
Leia toda conversa de risco (reembolsos, cancelamentos, reclamações, transferências, contatos repetidos) e uma pequena amostra fixa das de rotina por assunto. Nas duas primeiras semanas depois do lançamento, leia mais. Diminua quando a revisão de uma semana não encontrar nada novo.
As conversas da IA devem usar os mesmos critérios de qualidade dos atendentes humanos?
Em grande parte, sim. Mantenha as partes sobre precisão, política e resultado. Acrescente duas verificações que importam mais para a IA: se toda resposta é fundamentada nas suas próprias informações e se toda ação que ela disse ter feito realmente aconteceu.
Qual é a causa mais comum de respostas erradas da IA?
Material de origem faltando ou contraditório: uma página de política antiga, dois documentos que discordam ou uma exceção que nunca foi escrita. Corrija a fonte e todas as respostas seguintes melhoram.
Quando posso deixar um agente de IA agir sem aprovação?
Quando ele já fez aquela ação específica corretamente com aprovação por um tempo, a ação é fácil de desfazer e o risco é baixo. Respostas sobre status do pedido podem ir primeiro. Reembolsos e cancelamentos costumam manter uma etapa de aprovação por mais tempo.
