RAGの精度が出ない原因と改善策｜社内文書AIのつまずきどころと「探す・答える」の切り分け方・評価方法

「社内のマニュアルをAIに読ませたのに、肝心なところで違う答えが返ってくる」「書いてあるはずのことを『見つかりません』と言われる」。社内文書を参照して答えるAI（RAG）を試した企業から、よく聞かれる悩みです。AIの性能が足りないように見えますが、実際には、文書の状態や探し方に原因があることがほとんどです。

この記事では、RAGの精度が出ない原因を、専門用語をできるだけ使わずに4つの段階に分けて整理し、それぞれの改善策を解説します。自社で確かめられることと、専門の会社に頼んだほうがよいことも分けて紹介します。RAGの構築費用については、別の記事で詳しくまとめています。

RAGとは、「精度が出ない」とはどういう状態か

RAG（Retrieval-Augmented Generation：検索拡張生成）とは、質問に関係する社内文書をまず検索し、見つかった文書の内容をAIに渡して、その内容をもとに答えを作らせる仕組みです。AIが学習していない社内のルールや製品情報にも答えられるのが特長で、社内チャットボットや社内文書検索によく使われます。

RAGの処理は、大きく「探す」と「答える」の2段階に分かれます。そのため、「精度が出ない」には2種類あります。

参照した文書が正しいのに答えが間違っているなら「答える段階」、参照した文書がそもそも違うなら「探す段階」の問題です。この切り分けをせずにAIへの指示だけを何度も直しても、改善しないことがよくあります。

関連記事RAG（社内文書検索AI）の構築費用と進め方

原因1：文書の状態が整っていない

RAGの精度に最も大きく影響するのは、参照させる文書そのものです。人が読んでも迷う文書は、AIも読み違えます。

• 古い版と新しい版が混ざっている：改定前の規程を答える原因になります。最新版だけを残し、更新日を記録します
• 表・図・画像に情報がある：PDFの表が崩れて読み込まれたり、画像の中の文字が読まれなかったりします
• スキャンしたPDFが多い：文字のデータがないため、文字を読み取る処理（OCR）が必要です
• 同じ話題の文書が複数ある：部署ごとに似たマニュアルがあると、どれを答えるべきかAIが判断できません
• 社内用語・略語が多い：質問では正式名称、文書では略語、といったずれで検索に引っかかりません
• 答えが文書に書かれていない：ベテランの頭の中にしかない情報は、RAGでは答えられません

こうした文書の問題は、AIの設定では解決できません。まずは問い合わせの多い分野の文書から、最新版の整理、表の書き直し、用語集の作成を進めるのが近道です。

関連記事AI-OCRで帳票入力を自動化する方法と導入効果

原因2：探し方が合っていない

RAGでは、文書をそのまま丸ごと探すのではなく、一定の長さの「かたまり」に区切ってから探します。このかたまりを「チャンク」と呼びます。探し方の問題は、主に次の3つです。

文書の区切り方（チャンク）が合っていない

区切りが細かすぎると、前後の文脈が切れて意味がわからなくなります。逆に大きすぎると、関係のない内容が混ざります。見出しの単位で区切る、表は表ごとにまとめる、区切ったかたまりに文書名や章の名前を付けておく、といった工夫で改善することがあります。

意味の検索だけに頼っている

RAGでよく使われる「ベクトル検索」は、言葉の意味の近さで文書を探す方法です。言い回しが違っても探せる反面、品番や型番、規程の条番号のような正確な文字列での検索は苦手なことがあります。従来のキーワード検索と組み合わせる「ハイブリッド検索」や、部署・文書の種類などの情報で絞り込む方法が有効です。マイクロソフトの技術ガイドでも、全文検索とベクトル検索の組み合わせや、キーワード・カテゴリーによる絞り込み、検索結果の並べ替え（リランク）が改善策として紹介されています。

質問があいまい・短すぎる

「交通費は？」のような短い質問では、どの文書を探せばよいか定まりません。質問をAIに言い換えさせてから検索する、複数の質問に分けて検索する、といった方法があります。利用者に「質問の例」を見せることも効果があります。

原因3：答えさせ方が合っていない

正しい文書を見つけても、答え方の指示（プロンプト）が適切でないと、間違った答えになります。

• 文書にないことを補ってしまう：「参照した文書に書かれていないことは答えない」「わからない場合はそう伝える」と指示します
• 根拠を示していない：回答と一緒に文書名や該当箇所を表示し、利用者が確かめられるようにします
• 渡す文書の数が合っていない：少なすぎると情報が足りず、多すぎると関係のない内容に引きずられます
• 数字や条件を要約で崩してしまう：金額・日数・条件は文書の表現をそのまま使うよう指示します

生成AIは、もっともらしい誤り（ハルシネーション）を返すことがあります。RAGはこれを減らす方法の1つですが、なくせるわけではありません。重要な判断に使う場合は、人が根拠を確認する手順を残しておきます。

関連記事AIはうそをつく？ハルシネーションの仕組みと業務で使うときの対策｜起きやすい場面と防ぎ方をやさしく解説

原因4：精度を測る仕組みがない

精度が出ない原因として見落とされがちなのが、「そもそも精度を測っていない」ことです。何となく何問か試して「良くなった気がする」で判断していると、ある質問が良くなった代わりに別の質問が悪くなっても気づけません。

マイクロソフトのRAGの設計ガイドでは、実際の利用を代表するテスト用の文書と質問を集めること、そして文書に答えがない質問もテストに含めることを勧めています。答えがない質問に対して、無理に答えを作らず「見つかりません」と返せるかも、大切な確認項目です。

1. テスト質問を集める実際の問い合わせから50〜100問ほど選び、正しい答えと根拠の文書を記録します。答えが文書にない質問も入れます
2. 今の精度を測る探す段階（正しい文書を拾えたか）と答える段階（答えが正しいか）を分けて記録します
3. 原因の多い段階から直す文書の整理、区切り方、検索方法、指示の順に、1つずつ変えます
4. 同じ質問で比べる変更のたびにテスト質問で測り直し、悪くなった質問がないかも確認します
5. 本番の質問を足していく公開後は、うまく答えられなかった質問をテストに追加し、評価を続けます

想定ケース：施工マニュアルに答えるAIの精度改善

自社でできること／専門の会社に頼んだほうがよいこと

文書の整理とテスト質問づくりは、業務を知っている社内の人にしかできない作業です。ここが整っていれば、ツールの設定の範囲でも精度が上がることがあります。それでも足りない場合や、文書の量が多い、権限の出し分けが必要、既存の文書管理システムとつなぎたいといった場合は、専門の会社に相談するのが現実的です。費用は、文書の量と状態、求める精度、連携するシステムによって変わります。

関連記事AIで社内マニュアル・文書作成｜作って終わりにしないナレッジ化と、AIで探せる社内文書検索の仕組みの作り方

関連記事社内AIチャットボットが使われない理由と、使われる仕組みの作り方｜8つの原因と対策、公開後の運用のポイント

よくある質問

まとめ

RAGの精度が出ないとき、原因はAIの性能より、文書の状態、探し方、答えさせ方、評価の仕組みにあることがほとんどです。まず参照した文書を表示して「探す」と「答える」のどちらで失敗しているかを切り分け、テスト質問で測りながら1つずつ直していきましょう。文書の整理は自社で、検索や評価の仕組みは専門の会社と、と分担すると進めやすくなります。

関連記事AIを入れた後の運用・保守｜精度の劣化・API料金の変更・モデル終了への備えと、保守契約で確認すること

参考：Microsoft Learn「Design and develop a RAG solution」「Develop a RAG solution – Information-retrieval phase」（Azure Architecture Center）。