AIコールセンターの誤回答に備える対応手順

AIコールセンターの誤回答を見つけたら、問題のある用件を有人対応へ切り替えます。原因が分かるまでAI全体を直そうとせず、同じ知識や会話設定を使う経路から影響を止めてください。

修正は本番環境へ直接上書きしません。誤回答が起きた設定の版を残し、検証環境で修正します。まず、現在の運用で一つの用件だけを有人へ切り替えられるか確認してください。

誤回答が出る経路だけを有人へ切り替える

営業時間の案内が誤っている場合、本人確認や予約変更まで止める必要があるとは限りません。誤った知識を参照する用件と、同じ設定を使う会話経路を特定します。

対象を分けられない場合は、AIの回答を続けるより広い範囲を有人へ切り替えます。営業時間外なら、折り返し受付や定型の停止案内へ変更してください。回答できないまま会話を続け、別の誤情報を返す状態を避けます。

切り替え時の案内は、システム障害の原因を推測しません。「ただいま担当者へおつなぎします」など次の対応だけを伝えます。担当者不在時の受付方法も同時に用意してください。

誤回答の通話を一件見つけたら、録音や文字起こしだけを共有しないでください。通話IDと発生時刻に加え、該当した用件を事故記録へ残します。参照した知識と会話設定の版も同じ記録へまとめます。

本番設定をすぐに直すと、誤回答が起きた状態を再現できなくなります。問題の版と参照資料を保存し、修正前の回答を合成データで再現します。顧客の実際の発言を検証環境へそのままコピーする必要はありません。

Dialogflow CXのバージョンと環境では、版を変更できないスナップショットとして保存し、テストと本番へ別々に展開できます。問題が見つかった場合に以前の版へ戻せるため、本番で下書きを直接使わないことが推奨されています。

影響件数は、誤回答と報告された一件だけでは判断できません。同じ期間に同じ会話設定を使い、同じ知識や外部システムを参照した通話を抽出します。

文字列の完全一致だけで探すと、言い回しの違う誤回答を見落とします。該当した用件と遷移した会話経路を使って候補を出します。参照した資料と回答結果でも絞り、候補の録音または文字起こしを人が確認してください。

影響を調べるときは、設定の版だけでなく実際の回答を確認します。同じ用件へ分類されていても、会話の前後関係や参照した情報が違う場合があるためです。正しく回答した通話も記録し、誤回答が起きる条件との違いを確認してください。

誤回答を受けた利用者へ連絡するかは、回答内容と後続行動への影響で判断します。営業時間の誤案内で再訪が必要になった場合と、会話中に訂正できた場合では対応が異なります。

連絡するときは、確認済みの誤りと正しい情報を先に伝えます。原因や再発防止策は、調査が終わる前に断定しません。予約や契約など後続処理が進んでいる場合は、その訂正や取消も同じ担当者が追います。

問い合わせ窓口を一つにし、案内した内容を事故記録へ残します。AIが生成した訂正文を確認なしで送らないでください。利用者ごとの影響を確認した担当者が内容を承認します。

修正した質問だけが正しくなっても、別の用件へ悪影響が出ることがあります。問題の再現シナリオに加え、変更していない正常な会話も同じ検証環境で試します。生成AIの回答は一回の成功だけで合格にせず、言い換えや会話の前後関係を変えた試験も行ってください。

Dialogflow CXのテストケースは、会話中の意図判定や遷移を期待結果として保存し、更新後に回帰を確認できます。AIコールセンターでも、質問文だけでなく次に進む用件と有人切替まで期待結果へ含めます。

ガードレールを追加した場合も、拒否が増えれば安全とは限りません。Amazon ConnectのAIガードレールは、設定の組み合わせに意図しない結果があり得るため、利用場面に合わせて実験と評価を行うことを勧めています。正しい回答まで遮断していないかを確認してください。

再開は修正担当者とは別の人が承認します。次の六つを確認してください。

再開直後から全件をAIへ戻さず、対象時間や用件を限定します。最初の通話を確認し、誤回答候補と有人切替の増減を事故記録へ残してください。

Amazon Connectのフロー版管理のように以前の公開版へ戻せる製品では、戻す版を再開前に決めておきます。実際の担当者の権限で戻せるかも確認します。外部の参照資料や連携処理は、会話の版を戻すだけで復元されるとは限りません。

最初の作業は、営業時間や料金など誤ると利用者の行動が変わる用件を一つ選び、その経路だけを有人対応へ切り替えられるか試すことです。切り替えられない場合は、停止範囲と代替受付を事故対応手順へ明記します。