AIはうそをつく？ハルシネーションの仕組みと業務で使うときの対策｜起きやすい場面と防ぎ方をやさしく解説
「ChatGPTに聞いたら、存在しない法律や商品名をもっともらしく答えてきた」「AIの回答をそのまま社外に出して大丈夫なのか不安」。生成AIを業務で使い始めた会社から、こうした声をよく聞きます。AIが事実と違う内容を自信ありげに答える現象は「ハルシネーション」と呼ばれ、AIを業務に使ううえで避けて通れない課題です。
この記事では、AIの専門家ではない経営者・総務・情シス・現場責任者の方に向けて、ハルシネーションが起きる仕組み、起きやすい場面と起きにくい場面、業務で使うときの具体的な対策を整理します。「AIはうそをつくから使えない」と結論づける前に、どう使えば安全に効果を出せるかを確認してください。
- ハルシネーションは、AIが「もっともらしい文章を作る」仕組みから生まれるもので、悪意のある「うそ」ではありません。今の技術ではゼロにはできません。
- 起きやすいのは、固有名詞・数字・日付・法律・出典など、正解が1つに決まる質問です。文章の言い換えや要約、たたき台づくりでは問題になりにくい傾向があります。
- 業務での対策は、社内文書を根拠に答えさせる（RAG）、出典を表示させる、人が確認する工程を残す、の3つを組み合わせるのが基本です。
- AIの誤回答の責任は、使った会社が負うと考えておくべきです。どの業務を、どこまでAIに任せるかを先に決めることが大切です。
目次
ハルシネーションとは
ハルシネーションとは、生成AIが、事実と異なる内容や存在しない情報を、もっともらしい文章で出力してしまう現象です。英語の「幻覚（hallucination）」が語源です。
生成AIとは、文章や画像などを新しく作り出すAIのことです。ChatGPTのような文章を作る生成AIの中心には、LLM（大規模言語モデル）と呼ばれる仕組みがあります。LLMは大量の文章を学習し、「この言葉の次には、どの言葉が来やすいか」を予測して文章を組み立てます。
ハルシネーションの例としては、次のようなものがあります。
- 存在しない出典：実在しない論文、判例、URLを挙げる
- 数字・日付の誤り：法律の施行日、製品の発売日、統計の数値を間違える
- 人物・会社の取り違え：似た名前の別の会社の情報を混ぜて答える
- 社内ルールの創作：自社の規程を知らないのに、一般論をもとに「御社の規程では〜」と答える
やっかいなのは、間違った内容も正しい内容と同じように、自然で自信のある文章で出てくることです。文章が上手なほど、読み手は誤りに気づきにくくなります。
なぜAIは間違えるのか（仕組み）
「AIはうそをつく」と言われますが、AIにだまそうという意図があるわけではありません。間違いは、AIの作られ方そのものから生まれます。
正しさではなく「それらしさ」で文章を作る
LLMは、学習した大量の文章のパターンから、次に来そうな言葉を選んでいきます。学習の段階で「この文は正しい」「この文は間違い」というラベルが付いているわけではありません。そのため、文法や言い回しのように規則性があるものは得意ですが、ある人物の誕生日のように、パターンから推測できない個別の事実は間違えやすくなります。
「わからない」より「答える」ほうが評価されやすい
OpenAIは2025年9月に公表した研究で、ハルシネーションが減りにくい理由の1つとして、AIの評価方法を挙げています。正答率だけで採点すると、「わかりません」と答えれば0点ですが、当て推量で答えれば当たる可能性があります。その結果、AIは不確かなときでも推測で答えるように学習してしまう、という説明です。
知らないこと・新しいことは答えられない
AIは、学習した時点より後の出来事や、学習していない社内の情報を知りません。それでも質問されると、知っている一般的な情報から推測して答えようとします。「御社の就業規則」や「先月改定された料金」を聞かれても、正しく答えられないのはこのためです。
ハルシネーションが起きやすい質問・起きにくい使い方
| 区分 | 例 | リスク |
|---|---|---|
| 正解が1つに決まる事実 | 法律の条文・施行日、製品の仕様、統計の数値、判例、人物の経歴 | 高い。必ず一次情報で確認する |
| 社内の固有情報 | 社内規程、取引先ごとの条件、自社製品の在庫・価格 | 高い。AIは知らないので、社内データを渡す仕組みが必要 |
| 新しい情報 | 最近の法改正、新製品、今月のニュース | 高い。学習時点より後の情報は持っていない |
| 渡した文章の加工 | 要約、言い換え、敬語の調整、翻訳、表への整理 | 比較的低い。ただし数字や固有名詞の写し間違いは確認する |
| アイデア出し・たたき台 | 企画の案、メールの下書き、見出し案 | 低い。人が選んで直す前提なので影響が小さい |
どの業務がAIに向いているかの全体像は、次の記事で整理しています。
関連記事生成AIにできること・できないこと｜業務で使える範囲の見分け方と、AIが苦手なことを仕組みで補う方法を解説
業務で実際に起きた問題
ハルシネーションは「たまに変な答えが出る」で済まないことがあります。海外では、AIの誤った回答が裁判で問題になった例が報じられています。
- 存在しない判例を裁判所に提出（米国）：米ニューヨーク州の連邦地裁で争われたMata v. Avianca事件では、弁護士がChatGPTで調べた判例を準備書面に引用しましたが、その判例は存在しませんでした。裁判所は2023年6月22日、弁護士らに5,000ドルの制裁金を科しています。
- チャットボットの誤案内で会社が賠償（カナダ）：エア・カナダのWebサイトのチャットボットが、忌引運賃の申請方法を実際の規定と違う内容で案内しました。カナダ・ブリティッシュコロンビア州の民事紛争解決審判所は2024年2月14日、会社は自社サイト上の情報すべてに責任を負うとして、差額などの支払いを命じました。
2つの例に共通するのは、AIが間違えたこと自体よりも、確認せずにそのまま使ったこと、顧客に直接見せたことが問題になった点です。日本でも、AIの回答を社外に出せば、その内容の責任は基本的に使った会社が負うと考えておくべきです。
業務で使うときの対策
ハルシネーションをゼロにする方法は今のところありません。そのため、「起きにくくする対策」と「起きても被害を出さない対策」を組み合わせます。
起きにくくする対策
- 社内文書を根拠に答えさせる（RAG）：RAG（検索拡張生成）とは、質問に関係する社内文書を検索し、その内容をAIに渡したうえで回答させる仕組みです。AIの記憶ではなく、渡した資料に基づいて答えるため、社内規程や製品情報についての誤りを減らせます
- 出典を表示させる：回答と一緒に、根拠にした文書名やページを表示させます。利用者が元の資料をすぐに確認できます
- 「わからない」と答えてよいと指示する：プロンプト（AIへの指示文）で「資料に書かれていないことは、わからないと答える」と明示します。システムに組み込む場合は、この指示をあらかじめ設定しておきます
- 質問の範囲を絞る：何でも聞けるAIではなく、「経費精算の規程について答えるAI」のように用途を限定すると、想定外の質問による誤りを減らせます
起きても被害を出さない対策
- 人が確認する工程を残す：社外に出す文書、金額、契約、法律に関わる内容は、AIの出力を下書きとして扱い、担当者が確認してから使います
- 数字・固有名詞・日付は原本と照合する：AIの誤りが最も多く、影響も大きい部分です。確認する箇所をチェックリストにしておくと漏れが減ります
- 顧客に直接見せる用途は慎重に：顧客向けのチャットボットでは、答えてよい範囲を決め、範囲外の質問は担当者につなぐ設計にします
- 誤りを記録して改善する：利用者が「回答が違う」と報告できる仕組みを作り、原因（資料が古い、検索で正しい資料が見つからない等）を直していきます
関連記事RAGの精度が出ない原因と改善策｜社内文書AIのつまずきどころと「探す・答える」の切り分け方・評価方法
想定ケースで考える：社内規程の問い合わせ対応
状況：総務部には、就業規則や経費精算、出張旅費の規程について、社員から月に約300件の問い合わせが来ていました。1件の対応に平均6分かかり、合計で月30時間ほどになります。社員が個人でChatGPTに規程の内容を聞き、一般論の回答を自社のルールと思い込んで申請するケースも出ていました。
やったこと：社内規程の最新版だけを集め、RAGで回答する社内向けAIを作りました。回答には必ず根拠の規程名と条番号を表示し、規程に書かれていないことは「総務部に確認してください」と返すように設定しました。
試算：問い合わせの6割（月180件）をAIで解決でき、残りの4割は総務部が対応すると仮定します。180件×6分＝月18時間の削減です。回答の誤りの報告への対応や、規程改定時の資料の入れ替えに月4時間かかるとすると、差し引き月14時間程度の削減になる試算です。
うまくいく条件：規程の最新版が1か所にまとまっていること。改定のたびに資料を差し替える担当者が決まっていること。
つまずきやすい点：古い版の規程や、部署ごとの独自ルールのメモが混ざっていると、AIがそれを根拠に誤った回答をします。また、「AIがそう言った」で申請が通ってしまわないよう、最終判断は規程と担当者にあることを社内に周知しておく必要があります。
自社でできること・専門の会社に頼んだほうがよいこと
ハルシネーションへの対策は、すべてを外注する必要はありません。利用ルールの整備は自社で進め、仕組みづくりの部分を専門の会社に相談するのが現実的です。
特に「どのくらいの正確さが必要か」は、業務によって大きく違います。社内の下書き用なら多少の誤りは人が直せますが、顧客への回答や金額の計算では、誤りがそのまま損失につながります。求める精度によって、仕組みの作り込みの度合いも費用も変わります。
AIを含むシステムの導入を検討するときは、「何を、どこまで、どのくらいの正確さで」任せたいかを文書にしておくと、社内の合意も業者との相談もスムーズです。要件定義書やRFP（提案依頼書）のひな形は無料テンプレート集からダウンロードできます。
よくある質問
- 新しいAIモデルなら、ハルシネーションは起きませんか？
- 新しいモデルほど誤りが減る傾向はありますが、ゼロにはなっていません。OpenAIも、ハルシネーションは新しいモデルでも残る課題だとしています。モデルの性能に頼るだけでなく、確認の工程や根拠を示す仕組みを組み合わせることが大切です。
- AIに「正確に答えて」と指示すれば防げますか？
- 指示だけでは防げません。ただし「資料にないことはわからないと答える」「根拠を示す」といった指示は、誤りを減らすのに一定の効果があります。指示の工夫に加えて、社内文書を渡す仕組み（RAG）や人の確認を組み合わせてください。
- Web検索機能のあるAIなら正確ですか？
- 最新の情報を参照できる点では有利ですが、検索で見つけたページ自体が間違っている、ページの内容を読み違える、といったことは起こります。出典として表示されたページを開いて、内容を確認する習慣が必要です。
- ハルシネーションが怖いので、AIは使わないほうがよいですか？
- 使い方次第です。要約、文章の下書き、言い換え、アイデア出しのように、人が最後に確認する業務では、誤りの影響は小さく、時間短縮の効果が出やすいです。正確さが必要な業務は、仕組みと確認の工程を整えてから広げていくのがおすすめです。
- 顧客向けのチャットボットにAIを使っても大丈夫ですか？
- 答えてよい範囲を絞り、範囲外の質問や判断が必要な質問は担当者につなぐ設計にすれば、活用できます。料金、契約条件、返金などは誤案内が損害につながりやすいため、AIに自由に答えさせない設計が安全です。
関連記事顧客向けAIチャットボット｜問い合わせ対応を任せられる範囲と設計、人への引き継ぎと既存システム連携の注意点
まとめ
ハルシネーションは、生成AIが「もっともらしい文章」を作る仕組みから生まれるもので、今の技術ではゼロにはできません。ただし、起きやすい場面はある程度わかっています。固有名詞・数字・法律・社内情報のように正確さが必要な場面では、社内文書を根拠に答えさせるRAG、出典の表示、人による確認を組み合わせ、要約や下書きのように影響の小さい業務から活用を始めましょう。「AIは間違える」ことを前提に、どこまで任せるかを決めることが、業務で効果を出す近道です。
参考：OpenAI「Why language models hallucinate」（2025年9月5日）、Civil Resolution Tribunal「Moffatt v. Air Canada, 2024 BCCRT 149」（2024年2月14日）、LawSites「Court Imposes Sanctions on Lawyers Who Filed Bogus Cases After Relying On ChatGPT」（2023年6月、Mata v. Avianca事件の制裁命令の報道）、総務省・経済産業省「AI事業者ガイドライン（第1.2版）」（2026年3月31日）。
この記事に関連するサービス
AI業務改善・AIシステム開発
生成AIなどのAIを、業務の流れや社内のシステムに組み込んで成果が出る形にします。業務の整理、試験導入（PoC）、AIを組み込んだシステムの開発、導入後の運用・改善まで一貫して対応… サービスの詳細を見る
