「使われている」と「効果がある」は別
社内AIの利用回数が多くても、それだけで成功とは言えません。雑談や試し打ちが多い可能性もあります。逆に質問数が少なくても、毎月繰り返されていた問い合わせが減っているなら、十分な価値が出ていることがあります。
大規模な検索サービスでも、単純な検索回数だけではなく、クリック後に利用者が必要な情報へ到達したか、AI回答とのやり取りが役立ったかを組み合わせて評価しています。AtlassianはRovo Searchで、クリック、滞在、検索後の行動などを検索成功の評価に使うと説明しています。
小さな会社では高度な分析基盤を作る必要はありません。「導入前より何が減ったか」「答えられない質問は何か」「管理工数が増えていないか」を追うだけでも判断材料になります。
見るべきKPIは5つ
| KPI | 何が分かるか | 小規模企業での測り方 |
|---|---|---|
| 1. 人への問い合わせ件数 | 本当に繰り返し対応が減ったか | 総務・管理者への質問を導入前後で月単位比較 |
| 2. 自己解決できた質問 | AIが人への問い合わせを代替できたか | よくある質問リストをAIで解決できるか確認 |
| 3. 未回答・誤回答になった質問 | 資料不足や検索設定の弱点 | 答えられなかった質問を記録して月1回見る |
| 4. 継続利用 | 一度触っただけで終わっていないか | 同じ社員が翌週・翌月も使っているかを見る |
| 5. AIを維持するための社内工数 | 削減工数が管理作業に食われていないか | 資料更新・回答確認・設定対応に使った時間を記録 |
KPI 1：人への問い合わせ件数
Nexfila AIのような社内文書AIで最も分かりやすい成果は、総務やベテラン社員へ直接届く定型質問が減ったかどうかです。
導入前の1か月だけでも、「有給申請」「経費精算」「商品仕様」「見積ルール」など、同じ質問が何件来ているか簡単に数えておくと比較できます。正確な問い合わせ管理システムがなくても、担当者が1週間だけメモする方法でも十分に傾向は見えます。
KPI 2：AIで自己解決できた質問
質問数そのものより、「本来なら人へ聞いていた質問を、AIと元資料だけで解決できたか」を見る方が重要です。
たとえば導入前に実際によく聞かれる質問を20件用意し、AIだけで回答と根拠まで確認できた件数を記録します。20件中15件なら75%というように、まずは単純な確認で構いません。
HelpfeelのAI help centerの解説でも、単なる利用量ではなく、人へ到達せず自己解決できた割合や、解決後に再度問い合わせていないかを見る考え方が紹介されています。
KPI 3：未回答・誤回答になった質問
答えられなかった質問は失敗ログではなく、次に改善すべき情報です。資料に答えがないのか、資料はあるが検索できないのか、古い資料と新しい資料が混在しているのかで対応が変わります。
SliteのAsk Insightsも、AIが答えられなかった質問や、利用者が誤りとして報告した回答をナレッジ改善の材料として扱っています。小規模企業なら、まず「答えられなかった質問を10件ためたら確認する」程度でも十分です。
KPI 4：継続して使われているか
導入直後は物珍しさで触られても、数週間後に使われなくなることがあります。そのため「初回利用者数」より、翌週・翌月にも同じ社員が使っているかを確認します。
ただし、全社員が毎日使う必要はありません。就業規則や申請手順のように、必要なときだけ使う用途では利用頻度は低くなります。目的に対して必要な人が戻ってきているかを見ることが大切です。
KPI 5：AIを管理するための社内工数
問い合わせが月10時間減っても、資料更新や回答確認に月8時間かかるなら、実際の削減は2時間です。導入効果を見るときは、削減時間だけでなく新しく発生した運用時間も引きます。
ここはNexfila AIが特に重視している部分です。専任IT担当者がいない会社では、AIそのものが新しい管理業務になってしまうと導入価値が薄れます。
簡単なROIは「削減できた時間 − 増えた管理時間」で考える
厳密な財務モデルを作らなくても、まずは月単位で次のように考えられます。
金額にする場合は、実質削減時間に社内で使う概算の時間単価を掛けます。
たとえば月20時間減り、AI管理に3時間増えたなら、実質17時間の削減です。時間単価を3,000円と仮置きすれば約51,000円相当です。これはあくまで社内比較用の概算であり、売上増加を保証する数字ではありません。
最初から全部測らなくていい
15〜50名程度の会社で、分析ダッシュボードを作り込む必要はありません。最初の1〜2か月は、次の3つだけでも十分です。
- 人への問い合わせが何件減ったか
- AIが答えられなかった質問は何か
- AIを維持するために何時間使ったか
これだけで「使われているが効果がない」「問い合わせは減ったが運用が重い」「少ない利用でも重要な質問を自己解決できている」といった違いが見えてきます。
Nexfila AIで重視するのは、質問数そのものではない
Nexfila AIは、15〜50名程度・専任IT担当者がいない会社向けに、社内文書AIの構築・設定・保守管理までまとめて提供する先行導入サービスです。
月10,000質問までを想定していますが、「10,000回使うこと」が成功条件ではありません。人への繰り返し質問や資料探しが減り、AIを管理するための新しい仕事を増やさないことを重視します。
先行導入：通常導入費用55,000円（税込）→0円／月額29,800円（税込）／月10,000質問／資料10GBまで／先行価格は契約開始から6か月間。
先行導入期間中の申込が対象です。フォーム送信時点では契約・決済は発生しません。
参考にした公開情報
- Atlassian「How Atlassian continuously improves Rovo Search quality」：クリック、滞在、AI回答とのやり取りなどを組み合わせた検索品質評価
- Slite「Ask Insights」：未回答・報告された質問をナレッジ改善に使う仕組み
- Helpfeel「AI Help Center: The Complete Guide」：自己解決率・問い合わせ到達を含む効果測定の考え方