AIエージェントの仕事を、やり直さずに確認する方法

AIエージェントの仕事をやり直さずに確認するには、リスクに合わせて手間を配分します。影響の小さい仕事は一部を抜き取って確認し、重要な回答はどう導いたかを読み、レポートは信頼できるデータと比較し、お金が動くものには必ず人を置きます。最初はすべて確認し、信頼できるとわかった仕事から確認を減らしましょう。

すべての行を確認し直すなら、エージェントで何も節約できません。まったく確認しなければ、お客様が気づいたときに初めてミスを知ることになります。実用的な中間があり、それは新入社員の仕事の見方に似ています。最初はしっかり、その後は軽く、意図を持って確認します。

回答の裏にある作業を読むほうが、やり直すよりはるかに早く済みます。正しいデータ、正しい期間、妥当な手順かどうかを見ます。Conciergeでは、エージェントの返信の下にあるShow workをクリックします。Work behind this answerに、読んだデータと、エージェントのコンピューターで実行したコマンドが一覧で表示され、ブラウザの手順は進行に合わせて進捗行に表示されます。

• 正しいデータを使いましたか？：古いエクスポートではなく、ストアの注文であること。
• 正しい期間を使いましたか？：開始日、終了日、タイムゾーンを確認します。
• 自社の定義を使いましたか？：たとえば、純売上に送料を含めないかどうかです。
• 何かを抜かしていませんか？：テスト注文は除外が必要な場合がありますが、実際の注文は除外してはいけません。

エージェントに頼る前に、短いテストセットを作りましょう。正解がわかっている実際の依頼を10〜20件用意し、難しいものもいくつか入れます。使い始めるときと、指示、対応マニュアル、モデルを変更したあとに実行します。

• 先月の注文数など、Shopifyで確認できる数字。
• 答えが明確なポリシーの質問と、例外のある質問。
• 断るか人に渡すべき依頼。
• 持っている情報では答えられない質問。推測せずに、そう伝えるべきです。
• 本人確認をしていないお客様からの、個人情報を求める依頼。

顧客対応エージェントなら、ConciergeのPlaygroundを使えば、実際のお客様に影響を与えずに試せます。

確認の一部をエージェント自身に任せることもできます。よい指示や対応マニュアルには、次のような文が含まれます。

• 「返信する前に、商品ごとの行の合計が総計と一致することを確認してください。」
• 「数えた日付と注文を明記してください。」
• 「データが足りない場合は、何が足りないかを伝えてください。推定はしないでください。」
• 「どのくらい確かか、何があれば答えが変わるかを教えてください。」
• 「先月と比較し、20%を超えて変化したものを指摘してください。」

エージェントは自分の仕事についても間違えることがあるので、これで確認が不要になるわけではありません。ただ、ミスは見つけやすくなり、合わない合計ははっきりした警告になります。

AIのハルシネーションとは、自信を持って述べられる誤った内容です。お客様への回答での最善の対策は、見つけることより防ぐことです。Conciergeの承認済みの回答は、エージェントの回答を、オープンウェブや古いメモではなく、自社のポリシー、商品情報、ブランドのルールに限定します。ですから、回答だけでなく情報源も確認してください。古い返品ポリシーからは、自信に満ちた古い回答が生まれます。

• ランダムに抜き取る：毎週決まった数を読めば、苦情だけでなく普段の会話も見られます。
• 引き継ぎをすべて読む：エージェントの知識や確信が足りなくなった場所がわかります。
• 再度の問い合わせを確認する：同じ件でまた連絡してきたお客様は、最初に解決していなかったのかもしれません。
• 外れ値を見る：最も長い会話と、お客様が不満そうな会話を読みます。
• いくつかの点を一貫して評価する：正しかったか、ポリシーに従ったか、言葉づかいは適切だったか。出発点としてQAチェックリストをご利用ください。

Conciergeでは、すべての会話はOperate > Inboxに、過去の仕事はOperate > Historyにあります。チームメンバーはどの会話にも入ることができ、エージェントは戻されるまで返信を止めます。

• 結果を直す：レポートを修正するか、お客様にフォローします。
• 原因を見つける：定義の欠落、古い情報源、不十分な指示、広すぎるアクセスのどれでしょうか？
• 原因を適切な場所で直す：1つのルールには記憶を、方法には対応マニュアルを、アクセスには機能の変更を、事実には情報源の更新を使います。
• テストセットに追加する：そのミスは今後毎回確認されます。
• 広い影響を考える：一度起きたなら、ほかの事例も探します。

Conciergeでは、「今後は週次レポートの最初に返金を載せて」のように、普段の言葉でエージェントを修正できます。エージェントはそれを記憶として保存し、その場にUndoとEditが表示されます。記憶と対応マニュアルの違いをご覧ください。

仕事ごとに、段階的に減らしてください。適切な時期は仕事の内容とどれだけ目にするかで変わるので、自社の基準を前もって決めておきましょう。

• 段階1：すべて確認する：すべての結果を手作業の結果と比較します。
• 段階2：主要な数字を確認する：問題のない期間が続いたら、合計と普段と違って見えるものだけを確認します。
• 段階3：抜き取る：毎週いくつか確認し、エージェントが指摘したものは読みます。
• 段階1に戻る：モデル、指示、もとの業務プロセスを変更したら、ここに戻ります。

• ランダムに5件の仕事を読み、そのうち2件の裏にある作業を開きます。
• その週の引き継ぎを読みます。多ければ一部を抜き取ります。
• 主要なレポートの合計を1つ、信頼できるデータと比較します。
• 先週の修正が守られているか確認します。
• 新しいミスをテストセットに追加します。

• きりのよすぎる数字、妙に整った数字：実際のストアのデータが整っていることはまれです。出どころを確認してください。
• 日付や情報源がない：何を数えたかを言わない回答は、信頼も確認もしにくくなります。
• 合計が合わない：部分と全体を照合するよう依頼してください。
• 同じ質問への答えが大きく違う：定義の欠落を示していることがよくあります。
• 更新後の急な変化：指示やモデルを変更したら、テストセットを再度実行してください。
• 知りえないことへの自信のある回答：確信を持つために何が必要かを聞いてください。

Conciergeはすべての依頼、承認、操作を会話に記録し、各回答の裏にある作業を示し、お客様への返信を承認済みの情報源に限定し、必要なときにチームに引き継ぎます。レポートが送信前にどう確認されるかは、データ分析と週次レポートのページをご覧ください。

次に読む：人の確認を挟む運用の方法、最初の30日間、サポートエージェントの段階的な導入。用語集：監査証跡、AIのハルシネーション、人による確認を組み込む設計。

信頼できるデータと比較し、答えをどう導いたかを読み、結果がわかっている質問でテストします。ミスの代償が最も大きいところに手間をかけ、残りは抜き取って確認します。

最初と、指示やモデルを変更したあとはしっかり確認します。仕事が信頼できるようになれば、ランダムに抜き取ったものとすべての引き継ぎを毎週短時間で確認するのが、多くの小規模チームにとって妥当な習慣です。

お金が動くものや、取り消しにくいものです。Conciergeでは、エージェントがお金を動かすことはないので、チームメンバーが返金を承認します。お客様との繊細な状況や、法律や安全に関わる問題も人に回すべきです。

リスクを完全になくすことはできませんが、減らすことはできます。お客様への回答を承認済みの情報源に限定し、推測せずに何が足りないかを伝えるよう指示し、答えられない質問でテストしてください。