クレディセゾンがAIで目指すCSAX

ハルシネーションの防止と利用活性化へさまざまな工夫

アシストくんは社内の業務ルールや社内規定・規則について問合せができるチャットボットで、24年1月にテスト運用が始まった。

社員からの照会内容を基にRAG（検索拡張生成）に業務マニュアルや社内規程を検索させて、生成AIが回答を作成する仕組みで、例えばIDカードの再発行、名刺発注の手続、福利厚生、コンプライアンス、審査、顧客対応などについて質問することができる。

このアシストくんの5月の利用件数は1353件で、ユニークユーザーは493名だった。

アシストくんは当初、アシストくんが作成した回答を担当部署が事前にチェックしてから照会者に回答する「ヒューマン・イン・ザ・ループ」の仕組みを採用した。

だが、社員の中には、自動的に回答を作成する仕組みとはいえ、事前チェックする担当者に負担をかけてしまうことを気にする向きもあった。

そこで、システムを改良し、照会者が事前チェックを求めるかどうかを選択できるようにした。「事前チェックなしなら、回答を待つ時間が短くなるし、遠慮なく質問できるという二つの利点がある」（小野取締役）という。

生成AIが間違った回答をするハルシネーションが起きるリスクはあるが、参照情報が示されるので、照会者がそれを確認すれば、正しい回答か否かはある程度判別できるという。

逆に、急ぎの質問なのに、回答が遅いという声も寄せられた。そこで、「催促機能」を追加した。すぐに回答が欲しいという旨のメッセージを担当者に送ることで、優先的にチェックしてもらい、短時間で回答が得られようにしたわけだ。

生成AIをうまく活用するには、使う側の心理や事情に配慮する仕組み作りが必要なのだろう。

ハルシネーション問題についていえば、例えば「誕生日にお祝い金が支給されるか」という質問に対し、アシストくんが「ない」と回答した事例があったが、実はクレディセゾンには福利厚生の一環として、誕生月に給与に一定額を上乗せして支払う制度がある。「お祝い金」「支給」という用語が誤った回答を招いてしまったともいえ、生成AIの正答率を評価するのは、「表面的な結果だけではなく、どうして誤回答を招いてしまったのか、細部まで検証する必要がある」と小野取締役は指摘する。

また、より正確な回答を引き出せるように、照会者がプロンプトを工夫する余地もありそうだ。小野取締役は「生成AIと人とのコンビネーションを良くすることが重要になる」と強調する。

議事録作成システムは24年5月に全社的に導入した。

これも音声を誤認識するリスクがあるが、クレディセゾンでは「ヒントワード」と「バッドワード」を登録する機能を実装することで、認識率を高める工夫を行っている。

ヒントワードはよく使う用語を登録することで、生成AIが採用しやすいようにする仕組みだ。バッドワードは逆に、採用率を下げる用語を登録する。事業部ごとに登録することもできるという。