「AIが作った資料、そのまま提出して大丈夫？」
生成AIを業務に使う企業が増える一方で、AIが「もっともらしい嘘」をつく問題が深刻化しています。
2025年だけで666件以上の訴訟・トラブルが報告され、大手コンサルティング会社が29万ドル（約4,300万円）の返金を求められる事態も発生しました。
この記事では、ハルシネーションがなぜ起きるのか、そして企業として何に気をつけるべきかを、実際の事例とともに解説します。
ハルシネーションとは何か
AIが「自信満々に嘘をつく」現象
ハルシネーション（Hallucination）とは、AIが事実ではない情報を、あたかも本当のことのように出力する現象です。
人間の「幻覚」から名付けられましたが、AIの場合は「作り話」に近いものです。
やっぱりAIって信用できないんですね…。こういう話を聞くと使うのが怖くなります。
いえ、そう単純な話ではありません。実は「知っているつもりで自信満々に間違える」のは、人間も日常的にやっていますよね。SNSでのデマ拡散や、記憶違いによる誤情報など。
言われてみれば…確かに人間も思い込みで間違えることはありますね。
そうなんです。大事なのは、特定の分野ではAIは人間を大きく上回るということ。医療画像診断では専門医と同等以上の精度を出しますし、プログラミングでは人間より速く正確にコードを書けます。
じゃあ「AIはダメ」じゃなくて、使いどころの問題ってことですか？
その通りです。得意な分野で活用し、苦手な部分は人間がカバーする。この使い分けができれば、AIは非常に強力なパートナーになります。
ところで、普通の間違いとハルシネーションは何が違うんですか？
普通の間違いは「わからない」と認識した上でのミスです。でもハルシネーションは、AIが「正しい」と確信しながら嘘をつくのが厄介なんです。
具体的にどんな嘘をつくのか
ハルシネーションには主に3つのパターンがあります。
| パターン | 内容 | 例 |
|---|---|---|
| 完全な捏造 | 存在しない情報を作り出す | 架空の論文、存在しない判例 |
| 部分的な捏造 | 実在する情報に嘘を混ぜる | 実在する人物に架空の発言を付与 |
| 誤った引用 | 出典は正しいが内容が違う | 実在する判例の内容を誤って説明 |
なぜハルシネーションは起きるのか
AIは「知識」を持っていない
生成AIは「次に来る単語を予測する」機械であり、実際には何も「知って」いません。
大量のテキストデータから「この言葉の後にはこの言葉が来やすい」というパターンを学習しているだけです。
つまり、「もっともらしい文章を作る」ことと「正しい情報を伝える」ことは、AIにとっては全く別の話なのです。
技術的な原因
Anthropicの2025年の研究によると、AIには「答えを知らないときに回答を控える」回路があることがわかりました。
しかし、この回路が誤作動すると、AIは「知っているつもり」で回答を始めてしまいます。
たとえば、有名人の名前は認識できるが、その人についての詳細は知らない——そんな状況でも、AIは「知っている」と判断して回答を生成してしまうのです。
「わからない」と言わない設計
OpenAIの2025年の論文では、AIが「わからない」と言わない根本的な原因を指摘しています。
現在の評価方法は、推測を正直さよりも報いてしまう。テストのように、空欄で0点を取るより、推測して正解する可能性に賭けるほうが得になる設計になっている。
— OpenAI「Why Language Models Hallucinate」（2025年）
2025年9月のOpenAIの発表によると、GPT-5でもハルシネーションを完全に防ぐことは困難とされています。最新モデルでも3〜5%の割合でハルシネーションが発生します。
企業トラブル事例①：デロイト29万ドル返金事件
事件の概要
2025年10月、コンサルティング大手デロイトが、オーストラリア政府に対して約29万ドル（約4,300万円）の返金を求められる事態が発生しました。
政府から依頼された福祉制度に関するレポートに、AIが生成した「嘘」が大量に含まれていたのです。
発覚した問題点
シドニー大学の研究者クリス・ラッジ氏が報告書を精査したところ、以下の問題が発覚しました。
- 存在しない学術論文の引用：シドニー大学やスウェーデンのルンド大学の研究者の名前で、架空の論文が引用されていた
- 裁判官の発言の捏造：連邦裁判所の判決から引用したとされる文章が、実際には存在しなかった
- 裁判官の名前の誤記：引用元とされた裁判官の名前すらスペルミスがあった
237ページのレポートの中に、最大20件のエラーが確認されました。
デロイトの対応
問題発覚後、デロイトは以下の対応を行いました。
- Azure OpenAI GPT-4oを使用していたことを認める
- 修正版レポートを公開
- 契約金額の一部を返金
大手コンサルでもこんなことが起きるんですか？
オーストラリアの上院議員は「大学1年生なら大問題になるレベルのミス」と批判しています。AI任せにして人間がチェックしなかった結果です。
企業トラブル事例②：エア・カナダのチャットボット敗訴
事件の概要
2024年2月（判決確定）、エア・カナダは自社のAIチャットボットが提供した誤情報について、顧客への賠償を命じられました。
何が起きたか
ジェイク・モファット氏は祖母の葬儀のため、急遽航空券を購入する必要がありました。
エア・カナダのWebサイトでチャットボットに忌引き割引について質問したところ、「購入後90日以内に申請すれば割引が適用される」と回答されました。
しかし実際の規約では、搭乗前に申請しなければ割引は適用されないというルールでした。
裁判所の判断
エア・カナダは「チャットボットは別の存在であり、会社は責任を負わない」と主張しましたが、裁判所はこれを却下。
企業は自社ウェブサイト上のすべての情報に責任を持つ。なぜチャットボットの情報だけが信頼できないと顧客が判断すべきなのか、説明がない。
エア・カナダは812.02カナダドルの賠償を命じられ、その後チャットボットはWebサイトから削除されました。
企業トラブル事例③：弁護士への制裁金（2025年多発）
急増する法曹界でのトラブル
2025年、AIハルシネーションによる弁護士への制裁金事例が急増しています。
専門家のダミアン・シャルロタン氏のデータベースによると、2025年だけで206件以上の法廷でのAIハルシネーション事例が確認されています。
主な事例
マイピロー訴訟（2025年7月）
マイピロー社CEOマイク・リンデル氏の弁護士2名が、AIで作成した書面に架空の判例を引用。各3,000ドルの制裁金を科された。
大手法律事務所（2025年11月）
全米トップ100に入る大手法律事務所が、AIハルシネーションを含む書面を提出。55,721.20ドルの制裁金を支払った。
K&Lゲイツ・エリスジョージ事件（2025年5月）
CoCounsel、Westlaw Precision、Google Geminiを使用して作成した書面に、多数の架空引用が含まれていた。
モーガン＆モーガン事件（2025年2月）
全米最大の人身傷害法律事務所の弁護士3名が制裁金を科された。起草した弁護士は3,000ドル、確認を怠った弁護士2名は各1,000ドル。
「AIを使うこと自体は問題ない」と裁判所は言っています。問題は、人間が確認せずに提出したこと。これは弁護士に限らず、すべてのビジネスパーソンに当てはまる教訓です。
企業が取るべき対策
1. 「AIの出力は下書き」という認識を徹底
AIの出力は最終成果物ではなく、必ず人間がレビューする下書きとして扱いましょう。
特に以下の場合は入念なチェックが必要です。
- 外部に提出する資料
- 数字や統計データを含む内容
- 引用や参照を含む内容
- 法的・契約的な意味を持つ内容
2. ファクトチェック体制の構築
AIが出力した情報のうち、以下は必ず原典を確認してください。
- 引用元のURL → 実際にアクセスして確認
- 論文や研究 → 論文データベースで存在を確認
- 法令や判例 → 法律データベースで確認
- 統計データ → 一次ソースで確認
3. AI利用ポリシーの策定
社内でAI利用のルールを明文化しましょう。
| 項目 | 推奨ルール |
|---|---|
| 外部提出資料 | AIで下書き → 人間が全文確認 → 承認者レビュー |
| 引用・参照 | 必ず原典を確認 |
| 機密情報 | AIに入力しない |
| 開示義務 | AI利用の有無を明記するか検討 |
4. 保険・契約の見直し
AIハルシネーションによる損害が発生した場合、誰が責任を負うのか。
- 賠償責任保険の適用範囲を確認
- 業務委託契約にAI利用条項を追加
- 顧客向け規約でAI利用を明記
2024年4月に経済産業省と総務省が発行した「AI事業者ガイドライン」では、ハルシネーションのリスクを認識し、検索を併用するなどして出力の正確性を確認することが推奨されています。
まとめ：AIは便利だが「盲信」は禁物
生成AIは業務効率化の強力なツールですが、「もっともらしい嘘」をつくリスクを常に意識する必要があります。
この記事のポイント：
- ハルシネーションはAIの構造的な問題で、GPT-5でも完全には解決していない
- デロイトの29万ドル返金、エア・カナダの敗訴など、企業への影響は深刻
- 2025年だけで206件以上の法廷トラブルが発生
- AIの出力は「下書き」として扱い、必ず人間がファクトチェックする
- AI利用ポリシーを策定し、責任の所在を明確にする
AIを「賢いアシスタント」ではなく「優秀だが時々嘘をつくインターン」と思って接すること。それが、トラブルを防ぐ最善の方法です。
