チャットボットの正答率とは、チャットボットの回答精度を測る指標の一つです。

チャットボットは、ユーザーからの文章入力により、回答を自動で返す仕組みです。正答率は、チャットボットがユーザーからの質問に「正しく回答できたかどうかの割合」です。

つまり、チャットボットを利用したユーザーのうち、正しい回答内容を得られたユーザーがどれくらいいるのかを示します。

「正しい回答内容を得られた」というのはユーザーの主観であるため、これを測るためには、何かしら工夫が必要です。

例えば、チャットボットを利用したユーザーに対して、利用終了後の画面で、チャットボット上で「いまの回答は満足しましたか？」というアンケートを実施する方法です。これにより、「満足」か「不満足」かの結果を知ることができるので、正答率を算出するのに利用できます。

このアンケートに回答したユーザーのうち、「満足」と答えたユーザー数と「不満足」と答えたユーザー数とを比べることで、正答率を出すことができます。

【関連コラム】チャットボットでアンケートをとるメリットは？実施のポイントもご紹介

チャットボットの成果を測るうえで、正答率は極めて重要な指標ですが、それだけで全体の効果を判断することはできません。チャットボットがビジネス課題を解決しているかを総合的に評価するためには、他の重要な指標も併用する必要があります。

解決率（自己解決率）

これは、チャットボットとのやり取りだけでユーザーの問題や疑問が完全に解決した割合を示す指標です。正答率が「正しい回答を出力した割合」であるのに対し、解決率は「ユーザーの意図が達成された割合」を測ります。正答率が高くても、回答がユーザーの求めている情報と少しずれていたり、解決に必要な次のアクション（例：リンククリック）に繋がらない場合、解決率は低くなります。チャットボットの業務効率化への貢献度を測るうえで、最も重要な指標の一つです。

応答範囲カバー率

これは、チャットボットが回答を試みた質問が、事前に学習範囲として設計された範囲内の質問であった割合を示します。回答できなかった質問（ノーヒット）があった際、その質問がそもそも対応範囲外なのか、それとも学習データの不足（担当者の課題）によるものかを切り分けるために重要です。この指標が高いほど、FAQやナレッジの設計が適切であり、検索エンジンとしての機能が十分に果たされていることを示します。正答率向上には、まず適切な範囲を設定することが求められます。

エスカレーション率と電話チャネルへの影響

エスカレーション率とは、チャットボットで解決できずに有人チャットや電話といった別のチャネルへ移行したユーザーの割合です。この指標は、正答率や解決率の低さが、最終的にオペレーター業務にどれだけ影響を与えているかを定量的に示します。この率が高い場合、チャットボットの設計や学習データに改善すべき問題があることを意味しており、特に電話窓口の負荷軽減という導入意図を達成できているかを測るのに重要です。

チャットボットの正答率を向上させるメリットは以下の3つがあります。

チャットボットの利用率が上がる

正答率が上がれば、「このチャットボットは便利に使える」と感じるユーザーが増えるということですので、自ずと利用するユーザーの数や頻度は増えていきます。

問い合わせ件数が減りチャットボットの効果が出やすくなる

利用率が上がった結果、例えば、チャットボット導入の目的が「問い合わせ件数の削減」だった場合、その効果が出やすくなります。

顧客満足度が向上する

顧客を対象としたチャットボットの場合、正答率が高ければ、サポートや接客などのサービスそのものの質が上がることから、満足度も向上すると考えられます。

これらのメリットに限らず、正答率が上がればあらゆるチャットボット導入目的が達成されやすくなります。

チャットボットの正答率が低い場合、導入意図を達成できないだけでなく、企業に複数の深刻なリスクをもたらします。正答率の低さは、ユーザーの自己解決を妨げ、最終的に顧客満足度や業務効率の低下に繋がるため、単なる技術的な問題として捉えるべきではありません。

オペレーターへの負荷増大と業務効率の悪化

チャットボットが適切な回答を提供できなかった場合、ユーザーはすぐに電話やメール、あるいは有人チャットへと切り替えます。これにより、対応担当者への問い合わせが集中し、本来チャットボットで解決するはずだった定型的な問い合わせまで有人対応が必要になり、かえって業務負荷が増大します。特に、緊急性の低い問題が有人対応窓口を圧迫することで、真に重要な問題への対応が遅れるという二次的な課題も生じます。

顧客体験の毀損と離脱の問題

ユーザーは、迅速な解決を意図してチャットボットを利用します。正答率が低いと、何度も質問を繰り返すことになり、最終的に「時間の無駄だった」というネガティブな体験で終わります。この不満は顧客体験を大きく損ない、ブランドへの信頼低下や顧客の離脱という問題を引き起こします。正答率の低さは、顧客にとって「この会社は自分たちの課題を理解していない」というメッセージになりかねません。

では、チャットボットの正答率を向上させるには、どうすればいいのでしょうか。その方法をチャットボットの種類別にご紹介します。

ルールベース型：主にシナリオ型と辞書型の2つがある。あらかじめ想定されるシナリオやQ&Aを準備しておき、ユーザーからの問い合わせがあった際に、そのデータベースから回答を引き出す。

機械学習型：AIが対話ログを機械学習し、その学習データから回答を返す。ユーザーが質問文をフリーワード入力すると、過去に複数のユーザーと会話を行った記録が蓄積されたログをAIが解析し、適する回答を返す。

チャットボットとは？AI搭載型・ルールベース型の違いや、企業の活用事例を解説

ルールベース型の正答率向上方法

まず、チャットボット終了後に満足・不満足を問うアンケートを実施し、「不満足」と回答したユーザーの質疑応答ログを確認します。そのログに含まれる質疑応答は、チャットボットが回答できなかったり、回答を返しても適切な回答が返せなかったり、回答が足りなかったりする可能性があります。そこで、質問や回答を追加したり、回答を返せなかった質問文の要素を、類似の質問文の「揺らぎ（※）」として追加したり、類義語として登録したりすることが対策として挙げられます。

※揺らぎ：表記ゆれのこと。例えばパソコンのことを「PC」、スマートフォンのことを「スマホ」や「スマフォ」などと同じ意味でも人によって表記にばらつきが出ること。

また、他に、重複している質問を削除したり、不要なワードを除去したりすることも方法として考えられます。

機械学習型の正答率向上方法

機械学習型は、運用開始前にある程度、教師データと呼ばれるデータをAIに学習させます。その教師データにおける表現のばらつきを改善するのも一つの方法です。また運用開始後も、データ学習を継続することが考えられます。

このように、どちらの種類も運用開始後にチャットボットのメンテナンスを繰り返すことが、正答率向上につながります。
また、ルールベース型も機械学習型も、チャットボットのログを集計・解析する機能が備わるチャットボットツールを利用することは、メンテナンスのめどが立ちやすいため、正答率向上の助けになるでしょう。

近年、生成AI（大規模言語モデル、LLM）を搭載したチャットボットの導入が加速していますが、その正答率を脅かす最大の要因の一つが「ハルシネーション（幻覚）」です。ハルシネーションとは、AIが学習データや検索結果に基づかず、事実とは異なる情報をあたかも真実のように生成してしまう問題を指します。この問題が発生すると、チャットボットが不正確な回答をユーザーに提供することになり、結果として正答率が大きく低下し、企業の信頼性に関わる課題となります。

ハルシネーション対策の重要性：RAGによる検索と根拠提示

この課題を解決するための最も重要なアプローチの一つが、RAG（Retrieval-Augmented Generation：検索拡張生成）の導入です。RAGは、ユーザーからの質問に対してまず信頼できる社内ナレッジベースやFAQを検索し、その情報を根拠として回答を生成する仕組みです。これにより、AIが自己判断で情報を捏造する範囲を限定し、回答の正確性を高めます。RAGは、生成AI型チャットボットの正答率を担保する上で欠かせません。

プロンプト設計による生成範囲の制御

AIに与える指示（プロンプト）の設計も極めて重要です。AIに「根拠のない情報を生成しないこと」や「情報が見つからなかった場合はその旨を伝えること」を明確に指示することで、ハルシネーションの発生を抑制します。また、回答のトーンやスタイルを指定することで、ユーザーの意図から逸脱した回答を防ぎ、チャットボットの正答率を高い水準で維持するための土台を築きます。

人間によるファクトチェックの組み込み

ハルシネーションは完全にゼロにすることが難しいため、重要な情報や複雑な問題を扱う業務範囲では、人間の担当者による最終確認フローを設計することも重要です。特に、法規制や緊急性の高い内容に関する問い合わせでは、AIが生成した回答をオペレーターが確認し、必要に応じて修正してから提示することで、誤答によるリスクを最小限に抑え、確実に解決へと導きます。

リコーが提供するチャットボットツール「RICOH Chatbot Service」は、メンテナンスが行いやすく、回答精度を高めやすいことから、正答率向上を目指しやすいサービスです。

大きな特長としてリコー独自技術で磨き上げられた「高性能AI」が、類義語、同義語、表記のゆれを自動で理解し、精度の高い応答を実現します。これにより、正答率の高い結果が得られやすいといえます。

また、運用時に利用する画面は、誰でもわかりやすく簡単で操作しやすいことから、メンテナンスも行いやすい特長があります。

さらに、効果検証が行いやすいことも特長です。ダッシュボードでは、「チャットボット使用件数」や「質問カテゴリの推移」「カテゴリ別の満足度」「質問ランキング」などの分析結果がグラフで表示され、正答率向上に役立つ情報が可視化できます。

正答率を改善するための「運用改善レクチャー」などマンツーマンのレクチャーも実施しているため、行き詰まったときも安心して利用が可能です。

チャットボットの正答率向上は、チャットボットの成果を確実に出すために欠かせないことといえます。精度の高い応答ができるほか、効果検証も容易に行える「RICOH Chatbot Service」は、正答率向上のために最もおすすめのチャットボットツールです。