AIカスタマーサービスの品質チェックリスト：公開前と公開後にAIエージェントを確認する

カスタマーサービスの品質チェック（QA）とは、かつてはチームリーダーが毎週いくつかの問い合わせを読み、評価基準に照らして採点することでした。人に対しては、今もそれで機能します。AIエージェントにも同じ配慮が必要ですが、違いが2つあります。どの1人よりもはるかに多くの会話に答えること、そして何かを間違えるときは、毎回同じように間違えがちなことです。

ある意味では、それは良い知らせです。一度見つけた間違いは、一度直せば済みます。このチェックリストでは、AIエージェントが1人のお客様と話す前にどう確認するか、公開後に何を見るか、そして見つけたことを定着する修正にどう変えるかを説明します。

何を確認するのか

人の担当者向けの品質チェックの評価基準のほとんどは、共感、正確さ、手順、解決を採点します。AIエージェントの場合は、6つの問いに分けましょう。公開前にも、その後のすべての見直しにも使います。

• 1. 答えは正しいか：実際のポリシー、商品情報、お客様の実際の注文と一致していますか？もっともらしく聞こえても返品期間をでっち上げた答えは、もっとも高くつく種類の間違いです。
• 2. 根拠があるか：ヘルプ記事、ポリシー、注文の記録など、答えがどこから来たかを示せますか？示せないなら、エージェントにも示せなかったはずです。
• 3. ルールに従ったか：返金の上限、割引のルール、単独で変更してよいことと人が必要なこと。
• 4. 言ったとおりのことをしたか：住所を変更した、定期購入を一時停止したと言ったなら、ストアで実際にそうなっていますか？
• 5. ちょうどよいタイミングで引き継いだか：早すぎればチームの時間を無駄にし、遅すぎればお客様をいらだたせます。
• 6. 自社らしい話し方か：口調、長さ、そしてブランドが使う言葉と使わない言葉。

公開前：出発前のチェックリスト

AIエージェントをすべてのお客様に向けてオンにして、うまくいくよう祈るのはやめましょう。まず数時間かけてテストします。目的は、チームにしか見えないうちに、もっとも悪い答えを見ておくことです。

ステップ1：上位30の質問を書き出す

受信トレイから集めましょう。ほとんどのストアでは、上位に同じものが並びます。注文はどこ、住所の変更、定期購入のスキップや一時停止、返品や交換、使えなかった割引コード、商品のサイズ感や成分。そこに、扱いにくいものを5つ加えます。怒っているお客様、ポリシーの範囲外の依頼、販売していない商品についての質問、人を求める人、そしてほかのお客様の情報を聞き出そうとする人です。

ステップ2：答えを確認する前に、ナレッジを確認する

• 返品、発送日数、定期購入の変更、保証など、エージェントに必要なポリシーはすべて、エージェントが読める場所に書かれているか？
• 内容が食い違う文書はないか？古い配送のページと新しいページがあると、答えがその間で揺れ動きます。
• 例外が誰かの頭の中ではなく、ルールとして書かれているか（「お客様が写真を送れば、破損した商品は返品なしで返金する」）？
• 社内の利益率や仕入先の名前など、お客様に決して聞かせてはいけないものが入っていないか？

AIの間違った答えのほとんどは、AIそのものではなく、情報源の不足や食い違いにさかのぼります。情報源を直せば、それ以降のすべての答えが一度に直ります。その重要性は、根拠のある回答の用語集の項目で説明しています。

ステップ3：テストの会話を実行する

サイトのチャット、番号へのSMS、メールなど、お客様が実際に使うチャネルで、30の質問をひとつずつ尋ねます。エージェントが調べるものがあるよう、実際の注文がある本物のテスト用の顧客を使いましょう。それぞれの答えについて、上の6つの問いを合格か不合格で採点し、理由を書き留めます。

ステップ4：答えだけでなく、すべての操作をテストする

• 住所の変更を頼み、Shopifyで注文を確認する。
• 定期購入のスキップや一時停止を頼み、定期購入を確認する。
• 上限を超える返金を求め、そのまま進めずに人を待つことを確認する。
• そもそもしてはいけないことを頼み、はっきりそう言うことを確認する。

動けるエージェントには、公開前に承認のルールが必要です。単独で行ってよい操作、チームメンバーの「はい」が必要な操作、そしてそのチームメンバーが誰かです。

ステップ5：引き継ぎをテストする

人を求めてみましょう。怒ってみましょう。答えられないことを聞いてみましょう。そして、チームに何が届くかを確認します。チームメンバーには会話、お客様が誰か、何を試したかが見えますか？それとも最初からやり直さなければなりませんか？経緯が失われる引き継ぎは、それまでの良い対応をほとんど台なしにします。

ステップ6：公開の基準を決める

点数を見る前に「準備ができた」の意味を書き出しておけば、自分を言いくるめて公開してしまうことを防げます。妥当な基準は、ポリシーや注文について間違った事実がない、すべての操作が言ったとおりに行われる、すべての引き継ぎが経緯とともに届く、口調の問題があっても軽微である、です。基準に届くまで直してはテストしましょう。多くのチームは、ひとつのチャネルや営業時間外の会話だけから始め、そこから広げています。

公開後：何を、どれくらいの頻度で見直すか

公開前のテストで見つかるのは、自分が思いついた質問です。お客様は、思いつかなかった質問をしてきます。公開する前に、見直しの手順を計画しましょう。

すべてを読まずに抜き出す方法

• リスクのある会話はすべて読む：返金、解約、苦情、引き継ぎで終わった会話、そしてお客様が数日以内に同じ問題で再び連絡してきた会話。
• 日常的な会話は抜き出す：注文状況を5件、定期購入を5件のように、毎週、話題ごとに少ない決まった件数を抜き出します。話題ごとに件数を決めておけば、忙しいひとつの話題がほかを押しのけることがありません。
• 見直す人を交代する：人によって気づく問題は違います。返品ポリシーを書いた人は、新しく入った人が見逃す、間違った返品の答えに気づきます。
• 記録をつける：失敗ごとに、会話、6つのチェックのどれで不合格になったか、原因（ナレッジの不足、間違ったルール、悪い口調、悪い操作）、修正を記録します。記録があるからこそ、パターンが見えます。

そのまま使える採点シート

見直す人が実際に使える短さに保ちましょう。各会話を次の項目で合格か不合格で採点し、不合格には1行のメモを添えます。

• 事実：ポリシー、商品、注文についてのすべての事実が正しかった。
• 情報源：答えは承認済みの情報か、お客様の記録から来ていた。
• ルール：返金、割引、変更の上限の範囲内にとどまり、必要なところでは承認を求めた。
• 操作：行ったと言ったすべての変更が、ストアで確認できる。
• 引き継ぎ：引き継ぐべきときに経緯とともに引き継ぎ、それより早くはなかった。
• 口調：ブランドらしく話し、答えを適切な長さに保った。
• 結果：お客様の問題が解決したか、お客様が次に何が起きるかを正確に知っている。

見つけたことを修正に変える

見直しが役に立つのは、エージェントの次の行動が変わるときだけです。失敗の種類ごとに、それを防ぐ修正を合わせましょう。

個々の会話を手作業で直して次に進みたくなる気持ちを抑えましょう。原因が残っていれば、明日も同じ答えが送られます。

避けるべき間違い

• AIが引き継いだ会話だけを読む。もっとも悪い間違いは、誰も疑わなかった自信たっぷりの答えであることが多いものです。
• 自己解決率だけで判断する。あきらめたお客様も、助けられたお客様も、同じに見えます。違いは問い合わせの自己解決とAIの解決率をご覧ください。
• 一度テストして、二度としない。新しい商品、ポリシー、プロモーションのひとつひとつが、新しいテストです。
• 承認のルールを一度に緩める。エージェントが単独でできることは、承認つきでその操作をうまくこなしたあとで、ひとつずつ広げましょう。
• 誰も読まないスプレッドシートに見直しをためておく。修正は、行動が変わる場所であるエージェントのナレッジとルールに入れましょう。

Chargezenができること

Conciergeは、Chargezenのデジタル従業員のチームで、見直しやすいように作られています。このチェックリストの各部分が、Conciergeのどの機能に当たるかを紹介します。

• 承認済みの情報から回答：Conciergeは、渡されたポリシー、商品情報、ブランドのルールから答えます。承認済みの回答をご覧ください。
• 自社で管理できる承認：各エージェントが単独でしてよいことと、「はい」を待つことを選べます。返金などの大きな操作では、何が起きるかを正確に伝えるリクエストが送られます。承認と操作履歴をご覧ください。
• 「完了」の前に証拠：Conciergeは、成功を報告する前に実際の結果を確認し、終わっていないことははっきり伝え、すべての手順の記録を残します。
• 作業の中身を表示：データから組み立てた答えでは、「Show work」に、エージェントが読んだデータと実行したコマンドが出力とともに表示されるので、数字を信じるのではなく確かめられます。データ分析をご覧ください。
• すべての会話をひとつの受信トレイに：チームは、Conciergeがすべてのチャネルで何を言い、何をしたかを見られ、ワンクリックで引き継げます。チームの受信トレイと人への引き継ぎをご覧ください。
• 定着する修正：やり方を対応マニュアルとして書きましょう。チームメンバーが引き継ぐと、Conciergeはその対応の仕方を書き留め、学んだことはすべて確認、編集、削除できます。学習をご覧ください。

Concierge Starterは月額US$20で、20,000クレジットが含まれます。Proは月額US$199（年払いなら年額US$1,990）で、199,000クレジットが含まれます。お持ちのOpenAIまたはAnthropicのアカウントも接続できます。料金プランをご覧ください。

関連する用語：AIのハルシネーション、ヒューマン・イン・ザ・ループ、操作履歴。関連ガイド：オンラインストアのカスタマーサービス指標、ECの会話型AI、AIエージェントが人を呼ぶべきとき。

よくある質問

AIの会話を毎週何件見直すべきですか？

リスクのある会話（返金、解約、苦情、引き継ぎ、再度の問い合わせ）はすべて読み、日常的な会話は話題ごとに少ない決まった件数を抜き出します。公開後の最初の2週間は、もっと多く読みましょう。1週間の見直しで新しい発見がなくなったら、減らしてかまいません。

AIの会話にも、人の担当者と同じ品質チェックの評価基準を使うべきですか？

ほぼ同じでかまいません。正確さ、ポリシー、結果についての部分は残します。そして、AIにとってより重要な2つのチェックを加えます。すべての答えが自社の情報にもとづいているか、そして主張したすべての操作が実際に行われたかです。

AIの間違った答えのもっとも多い原因は何ですか？

情報源の不足や食い違いです。古いポリシーのページ、内容が食い違う2つの文書、一度も書き留められなかった例外などです。情報源を直せば、それ以降のすべての答えが良くなります。

AIエージェントに承認なしで操作させてよいのはいつですか？

その特定の操作を、承認つきでしばらく正しくこなしていて、取り消しやすく、影響が小さいときです。注文状況の回答から始めましょう。返金や解約には、ふつうもっと長く承認の手順を残します。