社内AIがうまく答えないのはなぜ？
資料はあるのに回答できない4つの原因

実際の利用者レビューでも「資料はあるのに答えない」が起きている

社内チャットボットの公開レビューには、質問で正式名称を使わないと回答が生成されないケースや、正しく回答できないため学習データを工夫する必要があるという声があります。

この問題は珍しくありません。RAGは、質問を受けると最初に関連資料を検索し、その検索結果をAIへ渡します。検索段階で必要な情報を拾えなければ、高性能なAIモデルを使っても正しい回答は作れません。

原因1：質問と資料で言葉が違う

社内では、同じものに複数の呼び方が使われます。たとえば正式名称が「経費精算申請」で、社員は「立替」「精算」「経費」と呼んでいる場合です。

さらに、製品名の略称、旧社名、部署独自の呼び方などが混ざると、質問と資料の表現がずれて検索しにくくなることがあります。

対策

• 実際に社員が使う言い回しで質問テストをする
• 略称・旧称・社内用語を把握する
• 必要に応じて検索設定や質問理解の設定を調整する

原因2：検索方式が資料に合っていない

意味の近さで探すベクトル検索は自然な質問に強い一方、製品型番、社名、規程番号のような固有名詞ではキーワード検索が有効なことがあります。

そのため、社内文書AIではキーワード検索と意味検索を組み合わせるハイブリッド検索や、検索結果を並べ直すRerankなどを使って調整することがあります。

原因3：長い資料の「切り方」が合っていない

RAGでは、多くの場合、PDFやWordをそのまま丸ごとAIへ渡すのではなく、小さな単位に分割して検索します。この単位を一般にチャンクと呼びます。

たとえば「申請期限」と「例外条件」が別々のチャンクに分かれてしまうと、片方だけ検索されて不完全な回答になることがあります。逆に一つのチャンクが長すぎても、目的の情報を見つけにくくなることがあります。

原因4：元資料そのものがAIに答えにくい

AIは資料に書かれていない情報を正確に回答することはできません。また、古い版と新しい版が混ざっている、Excelの複雑な表だけに条件が書かれている、画像中心のPDFになっている、といった状態でも回答品質は落ちやすくなります。

大企業のRAG導入事例でも、PDF・Excelなど形式の違いによって回答精度に課題が出て、データ構造化による改善が行われています。

「もっと高性能なAIに変える」前に確認すること

1. 答えの根拠になる資料が本当に入っているか
2. 古い資料と新しい資料が混ざっていないか
3. 社員が実際に使う言い方で検索できるか
4. 検索結果に正しい資料が出ているか
5. 文書分割や検索設定を変えると改善するか

正しい資料が検索できているのに回答だけがおかしい場合に、初めてAIモデルやプロンプト側の調整を疑う、という順番にすると原因を切り分けやすくなります。

ここを社員自身にやらせると、社内AIの管理業務が増える

この調整には、AIの専門研究までは必要ありません。ただし、検索結果を確認したり、文書を再解析したり、設定を変えて同じ質問を試したりする作業は発生します。

セルフサービス型の社内AIでは、この役割を社内の管理者が持つことがあります。専任IT担当者がいない小規模企業では、「AIを導入して仕事を減らしたかったのに、AIを調整する仕事が増えた」という状態にならないよう、誰が調整を担当するかを先に決めておくことが重要です。

Nexfila AIでは基本的な検索・AI設定の調整も管理側で行う

Nexfila AIは、資料をアップロードできる画面だけを提供するセルフサービス型ではなく、社内文書AIの構築・設定・保守管理をまとめて提供する先行導入サービスです。

Nexfila AIでは、検索方式・文書分割・Rerankなどを標準設定としてあらかじめ用意し、利用する側がRAGの設定を覚えることを前提にしません。個別の手作業チューニングを常時行うサービスではなく、多くの会社で共通利用できる設定を改善していく設計です。

ただし、AIが100%正しい回答を返すことを保証するものではありません。重要な判断では、回答と一緒に示される元資料を確認する運用が必要です。

社内AIを比較するときの確認ポイント

• 資料を入れれば終わりなのか、初期調整まで含まれるのか
• 回答できない質問が出たとき、誰が原因を確認するのか
• 検索方式・Rerank・文書分割などを調整できるか
• 資料を差し替えたとき再解析できるか
• 回答の根拠となった資料を利用者が確認できるか

参考にした公開情報

• ITreview「RICOH Chatbot Service」レビュー：正式名称でない質問への回答
• ITreview「RICOH Chatbot Service」レビュー：学習データの調整
• DeNA Engineering：社内AIヘルプデスクのRAG精度改善
• LIFULL：社内AIボットのRAG検索精度を上げる工夫
• ソフトバンク：社内規程RAGのデータ構造化事例