三菱UFJニコスが社内文書検索回答サービスを全社展開

社員へのヒアリングでUI／UXも向上させる

研究内容の第二は、生成AI・システムに関する研究だ。生成AIの核をなす大規模言語モデル（LLM）にはGPT、Gemini、Claudeなどがあるが、それぞれ特徴があるという。それぞれのLLMの強み・弱みを理解し、どのLLMが適しているのかを検証することも必要だった。

また、検索の手法にもいろいろあり、文章や単語などの意味を「数字の並び」で表現した数値ベクトルを基に、プロンプトに入力された用語と数値ベクトルが似た用語をドキュメントから検索するベクトル検索、ベクトル検索に加えて文脈理解を強調した検索を行うセマンティック検索など、さまざまな手法の研究も行った。

第三はUI／UXの研究。どのような場面で、どのような形で検索したか、どのような回答が出てくると役に立つかなどを社員にヒアリングし、UI／UXの向上を目指した。マーケティングでは消費者のペルソナを設定したり、ジャーニーマップを描いたりするが、それと同じことを社内文書検索回答サービスのユーザーである社員を顧客に見立て、研究していったわけだ。

プロトタイプを作成し、実際に社員に使ってもらい、感想や要望を聞き、社員の声を反映した部分もあった。

回答がどのドキュメントに基づいているのか、社員が出典のドキュメントで確かめられるよう、参照情報を表示できるようにしたのも、社員の要望を踏まえたものだ。

実際のドキュメントを読めば、誤回答ではないかどうかをチェックできるし、社員の理解も深まる。「社員に対しては、必ず参照情報を確認するよう求めている」（白滝次長）という。

また、一度のユーザー認証で複数のサービスやプログラムにログインできるシングルサインオンを採用するなど、社員が日常業務の中でシームレスに社内文書検索回答サービスを利用できるようにした。

精度向上に最も効果があったのはチャンク化だったという。単純に文字数でチャンクを区切る手法もあるが、例えば200文字という文字数でチャンク化すると、「育児休暇」に関する説明が600文字であった場合、三つのチャンクに分かれてしまうため、適切な回答を導くことができない。

「どうすれば意味のある単位でチャンク化できるか研究を重ねた」（白滝次長）という。この点が最も苦労した部分でもあった。