チャットボットの正答率とは、チャットボットの回答精度を測る指標の一つです。

チャットボットは、ユーザーからの文章入力により、回答を自動で返す仕組みです。正答率は、チャットボットがユーザーからの質問に「正しく回答できたかどうかの割合」です。

つまり、チャットボットを利用したユーザーのうち、正しい回答内容を得られたユーザーがどれくらいいるのかを示します。

「正しい回答内容を得られた」というのはユーザーの主観であるため、これを測るためには、何かしら工夫が必要です。

例えば、チャットボットを利用したユーザーに対して、利用終了後の画面で、チャットボット上で「いまの回答は満足しましたか？」というアンケートを実施する方法です。これにより、「満足」か「不満足」かの結果を知ることができるので、正答率を算出するのに利用できます。

このアンケートに回答したユーザーのうち、「満足」と答えたユーザー数と「不満足」と答えたユーザー数とを比べることで、正答率を出すことができます。

【関連コラム】チャットボットでアンケートをとるメリットは？実施のポイントもご紹介

チャットボットの正答率を向上させるメリットは以下の3つがあります。

チャットボットの利用率が上がる

正答率が上がれば、「このチャットボットは便利に使える」と感じるユーザーが増えるということですので、自ずと利用するユーザーの数や頻度は増えていきます。

問い合わせ件数が減りチャットボットの効果が出やすくなる

利用率が上がった結果、例えば、チャットボット導入の目的が「問い合わせ件数の削減」だった場合、その効果が出やすくなります。

顧客満足度が向上する

顧客を対象としたチャットボットの場合、正答率が高ければ、サポートや接客などのサービスそのものの質が上がることから、満足度も向上すると考えられます。

これらのメリットに限らず、正答率が上がればあらゆるチャットボット導入目的が達成されやすくなります。

では、チャットボットの正答率を向上させるには、どうすればいいのでしょうか。その方法をチャットボットの種類別にご紹介します。

ルールベース型：主にシナリオ型と辞書型の2つがある。あらかじめ想定されるシナリオやQ&Aを準備しておき、ユーザーからの問い合わせがあった際に、そのデータベースから回答を引き出す。

機械学習型：AIが対話ログを機械学習し、その学習データから回答を返す。ユーザーが質問文をフリーワード入力すると、過去に複数のユーザーと会話を行った記録が蓄積されたログをAIが解析し、適する回答を返す。

ルールベース型の正答率向上方法

まず、チャットボット終了後に満足・不満足を問うアンケートを実施し、「不満足」と回答したユーザーの質疑応答ログを確認します。そのログに含まれる質疑応答は、チャットボットが回答できなかったり、回答を返しても適切な回答が返せなかったり、回答が足りなかったりする可能性があります。そこで、質問や回答を追加したり、回答を返せなかった質問文の要素を、類似の質問文の「揺らぎ（※）」として追加したり、類義語として登録したりすることが対策として挙げられます。

※揺らぎ：表記ゆれのこと。例えばパソコンのことを「PC」、スマートフォンのことを「スマホ」や「スマフォ」などと同じ意味でも人によって表記にばらつきが出ること。

また、他に、重複している質問を削除したり、不要なワードを除去したりすることも方法として考えられます。

機械学習型の正答率向上方法

機械学習型は、運用開始前にある程度、教師データと呼ばれるデータをAIに学習させます。その教師データにおける表現のばらつきを改善するのも一つの方法です。また運用開始後も、データ学習を継続することが考えられます。

このように、どちらの種類も運用開始後にチャットボットのメンテナンスを繰り返すことが、正答率向上につながります。
また、ルールベース型も機械学習型も、チャットボットのログを集計・解析する機能が備わるチャットボットツールを利用することは、メンテナンスのめどが立ちやすいため、正答率向上の助けになるでしょう。

リコーが提供するチャットボットツール「RICOH Chatbot Service」は、メンテナンスが行いやすく、回答精度を高めやすいことから、正答率向上を目指しやすいサービスです。

大きな特長としてリコー独自技術で磨き上げられた「高性能AI」が、類義語、同義語、表記のゆれを自動で理解し、精度の高い応答を実現します。これにより、正答率の高い結果が得られやすいといえます。

また、運用時に利用する画面は、誰でもわかりやすく簡単で操作しやすいことから、メンテナンスも行いやすい特長があります。

さらに、効果検証が行いやすいことも特長です。ダッシュボードでは、「チャットボット使用件数」や「質問カテゴリの推移」「カテゴリ別の満足度」「質問ランキング」などの分析結果がグラフで表示され、正答率向上に役立つ情報が可視化できます。

正答率を改善するための「運用改善レクチャー」などマンツーマンのレクチャーも実施しているため、行き詰まったときも安心して利用が可能です。

チャットボットの正答率向上は、チャットボットの成果を確実に出すために欠かせないことといえます。精度の高い応答ができるほか、効果検証も容易に行える「RICOH Chatbot Service」は、正答率向上のために最もおすすめのチャットボットツールです。