AI電話受付の用件分類を検証する方法

AI電話受付の用件分類は、分類名が合っているだけでは合格にできません。発信者の用件を正しく捉え、必要な追加質問を行い、適切な部署または例外処理へ渡せたかを一つの通話で確認します。

検証には実際の代表電話で使われた言い方を使います。明確な用件だけでなく、曖昧な相談と訂正、聞き取りにくい固有名詞も含めてください。緊急用件と分類不能は通常の分類から分けて評価します。

分類名と転送先を一組で定義する

最初に、検証対象となる用件を三つ程度に絞ります。請求書の再発行なら、正解ラベルを「請求書再発行」にします。正解の次処理は経理への通知や折り返し受付です。ラベルと処理を一組にしてください。

受付の終了状態は、正しく分類して処理できた場合だけではありません。追加質問で正解へ進んだ通話と、分類確認待ちへ渡した通話を分けます。誤った部署への転送と緊急判定の失敗も別の状態です。

分類結果には、判断に使った発言を残します。ラベルだけでは、AIが発言のどこを根拠にしたか分かりません。文字起こしの該当箇所と追加質問、最終的な転送先を通話IDへ結びます。

正解ラベルと正解処理がそろえば、誤りを四つに分けられます。正しいラベルで誤転送した場合はルーティングの問題です。誤ったラベルで正しい部署へ着いた通話も、後の集計や自動処理では問題が残ります。

試験文は担当者が考えた典型例だけにしません。直近の代表電話から、同じ用件を異なる言い方で話した例を集めます。主語を省いた発話と部署名を知らない発話も残してください。

請求関連でも「請求書をなくした」と「支払いが確認できない」では処理が異なります。「担当者へつないでほしい」だけでは用件を判断できません。分類名に似た単語が入っていても、対象外となる発話を試験へ入れます。

Dialogflow CXの意図に関する公式説明では、通常の意図に似ていても一致させたくない発話を負の例として登録できます。対象外の発話を増やしすぎると通常の一致へ影響するため、定期的な見直しも案内されています。

一つの用件につき、明確な言い方と省略した言い方を用意します。似た別用件と対象外も必要です。会社名や製品名を含む発話は、通常の語と分けて認識結果を確認してください。

分類できない発話を、無理に一つの部署へ送らないことが重要です。「支払いについて」のような発話には、請求書の再発行か入金確認かを分ける質問を一つ返します。

追加質問は、分類ごとに必要な差分を聞きます。「詳しく教えてください」では長い自由回答になり、別の曖昧さが増えます。発信者が分からないと答えた場合は、分類確認待ちまたは総合受付へ渡してください。

Amazon Lex V2の意図確信度に関する説明は、最上位と代替候補の差から曖昧さを確認できます。一方、確信度は比較値であり、絶対値として依存しないよう案内しています。自社の検証でも、数値だけで転送可否を決めません。

合格条件は、一問後に正しい分類へ進むことです。分けられない場合は分類不能として安全な出口へ送ります。聞き返しの回数を減らすことより、誤転送を避けることを優先する用件もあります。

誤った分類が発生したら、AIの判断だけを直さないでください。最初に音声が正しく文字へ変換されたかを確認します。部署名や人名、型番が別の語になっていれば、分類前の音声認識が原因です。

音声が正しい場合は、意図の候補と追加質問を確認します。音声がない場合と、発話はあるが用件に一致しない場合も分けます。同じ聞き返しを返すと、運用記録から原因を見分けられません。

Dialogflow CXの状態ハンドラーは、意図に一致しない入力をno-matchとして扱います。音声を認識できなかった場合はno-inputです。自社の記録でも、認識不能と分類不能を別の終了状態にします。

騒音がある通話では、静かな試験と同じ正解率を求めるだけでは足りません。聞き直し後に復帰できたかを確認します。復帰できない場合は、有人受付や折り返しへ安全に切り替わることを合格にしてください。

緊急用件は、通常の用件分類へ混ぜません。設備障害や事故の連絡など、自社が緊急として定義した用件ごとに、対象条件と転送先を決めます。発信者が「緊急」と言っただけで自動的に同じ処理へ送らない場合もあります。

検証では、緊急用件を見逃した通話を全件確認します。通常用件を誤って緊急へ送った通話も別に数えてください。見逃しと過剰判定では影響と直す設定が異なります。

緊急に該当するか判断できない場合は、人へ切り替えます。AIが追加質問を続ける上限と、有人窓口が応答しない場合の代替先を決めてください。接続までの時刻も通常転送と分けて残します。

経済産業省のAI事業者ガイドライン第1.2版を参照し、誤分類が業務と利用者へ与える影響を整理します。影響が大きい用件は、人が関与する条件と停止手順を受け入れ試験へ含めます。

分類設定を変える前に、次の六つを固定ケースとして保存します。

Dialogflow CXのテストケースは、会話ターンごとの意図と現在のページを期待結果として保存できます。変更後に同じケースを実行し、意図と遷移が変わっていないかを確認できます。

一度に変えるのは、発話例か分類条件、追加質問のどれか一つです。変更後は六つの固定ケースだけでなく、実通話も確認します。正解率が上がっても分類不能や緊急の見逃しが増えた場合は公開しません。

最初の作業は、直近の代表電話を二十件選ぶことです。人が付けた正解ラベルと正解処理を一件ずつ記録します。AIの分類結果と転送先を同じ通話IDで照合し、最も影響の大きい誤りを六つの固定ケースへ加えてください。候補製品はAI電話受付比較表で同じ条件にそろえて確認できます。