結論:誤回答は「報告→正答確認→切り分け→修正→再テスト」で管理する
社内AIの誤回答は、単に「AIが間違った」と報告するだけでは原因を特定できません。質問の要旨、表示された出典、現行の正しい資料、業務影響、修正担当、再テスト結果を一つの記録に残します。
Microsoftの公式RAG評価ガイドも、正しい情報を検索できたかという検索品質と、検索した根拠に忠実に答えたかという回答品質を分けています。Microsoft Learn:RAGの評価方法。
重要:誤案内が給与・契約・法令・安全・顧客対応に関係する場合、業務の所管者が正しい情報を確認するまで、その回答に基づく判断を保留してください。すでに誤案内や情報漏えいが起きたときは、一般的な改善作業ではなく会社の正式な事故対応ルールを優先します。
AIの回答が違う5つの原因と最初の確認先
| 誤回答の種類 | 最初に確認すること | 所管の例 |
|---|---|---|
| 古い資料を引用した | 現行版・適用日・古い資料が残っていないか | 文書所管部署とAI運用担当 |
| 違う資料を引用した | 正解資料の登録状態と権限・検索範囲 | 資料管理者とAI運用担当 |
| 根拠は正しいが回答が違う | 引用箇所と回答の主張の食い違い | 業務責任者とAI運用担当 |
| 資料にないことを断定した | 根拠が存在するか、回答を保留すべきか | 業務責任者とAI運用担当 |
| 回答・出典が見つからない | 資料不足・取り込み・検索・権限の問題 | 資料管理者とAI運用担当 |
たとえばAIが「経費の上限は5万円」と答えても、現行規程が3万円なら、古い規程から拾ったのか、正しい規程を引用しながら数字を間違えたのかで修正方法が変わります。この例は架空です。
無料:社内AI誤回答の報告・修正記録表(CSV)
登録不要で使えるExcel対応CSVを用意しました。16項目、説明用の架空記入例3行を収録しています。質問・出典・業務影響・暫定対応・修正結果を報告IDごとに管理する表で、AIとの連携や自動送信機能はありません。
報告ID、報告日、質問の要旨、問題点、出典資料、現行資料の確認先、業務影響、原因分類、暫定対応、修正担当、再テスト、完了承認を記録します。
文字化けする場合はExcelの[データ]→[テキスト/CSVから]でUTF-8を指定します。Microsoft公式の説明も参照してください。
個人情報や社外秘の質問・回答の全文を、共有CSVに貼らないでください。再現に必要な原文は権限のある安全な保管先へ置き、表には秘匿化した概要や許可された管理番号のみ記録します。
誤回答の報告から対応完了までの6ステップ
1. 報告を受け、影響の大きさを判断する
まず回答を業務へ使ってよいかを判断し、重大な影響が疑われるなら所管部署へすぐ相談します。安全・法令・契約・機密情報の問題は社内の緊急報告ルートへ連絡してください。
2. 質問・回答の問題点・出典を記録する
「答えがおかしい」だけでなく、何を聞き、どの点が違い、どの出典が表示されたかを記録します。質問者の名前、機密文書の本文、顧客データを不用意にコピーしないようにします。
3. 社内文書の所管者に正しい答えを確認する
報告者の記憶だけで正答を確定しません。最新版の承認済み規程・手順書と適用日を確認します。文書管理台帳や改訂履歴を使い、正本を特定します。
4. 誤りを「資料」「検索」「回答」に分ける
正解文書がAIに登録されていなければ資料の問題です。正解文書があるのに参照されないなら検索・権限・取り込みを確認します。正しい出典が表示されていても回答が間違うなら回答生成側の調査が必要です。Guru公式のトラブルシューティングもこの順番で確認する視点を示しています。
5. 所管する担当者が修正し、変更内容を記録する
元の規程に誤りがあれば業務所管者が修正・承認します。登録文書の反映、検索設定、出典の扱いに問題があればAI運用担当へ調査を依頼します。両方に原因があるときは担当を分け、確認する順番を決めましょう。
6. 同じ質問と周辺質問で再テストする
修正後は元の質問を再実行し、回答だけでなく引用した出典の正式版・適用日も確認します。言い換えた質問、根拠がない質問でも再確認し、対応者と業務所管者が完了を判断します。1回正しく答えたことで、将来のすべての回答が正確になるわけではありません。
記入例:経費精算の誤回答をどう処理する?
報告:「経費申請の上限はいくら?」に「5万円」と回答したが、現行規程には「3万円」と記載。
確認:経理の承認済み規程と適用日を確認。AIの出典が旧版か、現行版なのかを照合。
修正:旧版を参照していたら、経理が現行版を指定し、AI運用担当が登録状況を調べる。正しい出典だった場合は回答生成の調査へ。
再テスト:同じ質問と「例外申請の場合は?」を実行し、現行版の出典と回答を確認。結果と承認者を記録。
報告を放置しないためのステータスと担当ルール
「未確認→調査中→対応中→再テスト待ち→完了」のように状態を定義すると、報告を受け取ったまま忘れることを防ぎやすくなります。誰が正答を決めるのか、誰がAI側の設定・取り込みを調べるのか、誰が完了承認するのかを分けます。
Document360の公式記事には、知識ベースへのフィードバックを担当者に割り当て、状態と履歴で管理する手順があります。Document360:Article feedback。その管理機能をNexfila AIが標準搭載しているという意味ではなく、運用設計の参考にしています。
同じ誤回答が何度も起きるときは、原因別に件数を整理します。古い資料が多いなら文書更新、検索できない報告が多いなら登録・権限・解析、正しい出典でも回答が違うなら回答側を優先して調査します。導入前のまとまった品質テストは社内AIのPoC評価票を参照してください。
Nexfila AIの標準機能と、会社側で行うこと
Nexfila AIでは、PDF・Excel・Wordなど登録した社内資料へ質問し、回答の出典を確認できます。出典があることで疑わしい回答を元資料と照合できますが、出典付きでも正確性の保証ではありません。
先行導入条件は会社単位月額14,800円(税込)、利用開始日から30日間無料、月5,000質問・資料5GBです。標準のAI基盤設定・保守・アップデート・基本障害対応はNexfilaが担当します。一方、資料の正式版の指定、閲覧範囲、業務判断は利用企業が管理します。自動誤回答検出・自動修正・誤回答報告のチケット管理は標準機能として案内していません。今回のCSVは独立した無料資料です。
よくある質問
誤回答を報告するときに質問全文が必要ですか?
必須とは限りません。機密情報は秘匿化し、確認に原文が必要な場合はアクセス制御された別の保管先へ置きます。
古い資料を引用したらプロンプトを直せば解決しますか?
根本原因が古い資料なら、正式版の指定とAI側の文書登録・更新確認が必要です。プロンプトだけで解決するとは限りません。
1回再テストして正答したら完了ですか?
元の質問と関連する表現、現行版の出典、影響範囲を所管部署が確認してください。単発の正答は恒久的な品質保証になりません。
このCSVはNexfila AIから自動で記録できますか?
いいえ。ダウンロードできる独立テンプレートです。誤回答の自動収集や修正は行いません。
参考資料
- Microsoft Learn:RAGの検索品質と回答品質
- Guru:誤回答・検索できない原因の調べ方
- Document360:フィードバックの割当・進捗管理
- Slite:古い社内ナレッジを管理する考え方
関連する記事
記入例の規程・数値・文書は架空の説明用データです。公式資料の確認日:2026年10月15日。