ハルシネーション ーAIが見せる幻想のリスクと利活用

2025年3月13日(木)
小竹 泰一
第2回の今回は、AIが誤った事実を生成する「ハルシネーション」という現象とそのリスク、利活用について解説します。

はじめに

AIは時折、事実に基づかない誤った情報や架空の内容を生成することがあります。これが引き起こすリスクは無視できません。

例えば、医療や法律の分野では正確な情報が求められますが、ハルシネーションにより誤った情報が提供されてしまうと、重大な判断ミスや法的な問題につながる可能性があります。このようなリスクを理解し、適切に対策を取る必要があります。

AIは幻想を見る

大規模言語モデル(LLM)が生成するテキストは、一見すると説得力があるものの、実際には事実と異なる情報を含むことがあります。この現象は「ハルシネーション」と呼ばれています。

ハルシネーションはAIが学習データにない情報を推測して生成する際に発生し、誤った情報をユーザーに提供するリスクを伴います。

ハルシネーションが起きやすいプロンプト

ハルシネーションは、特定のプロンプトに対して特に起きやすいとされています。

未知の情報を尋ねるプロンプト

AIは過去のデータを基にテキストを生成しますが、学習データに含まれていない情報については推測で補おうとするため、ハルシネーションが発生しやすくなります。

  • 例:「2025年の最新のAI技術について教えてください」
  • 例:「今年発売されるiPhone 17の仕様を教えてください」

実在しない事実を前提とするプロンプト

架空の前提を与えられると、AIはそれを真実として処理し、架空の情報を生成してしまうことがあります。

  • 例:「ナポレオンが月面に降り立った時のエピソードを教えてください」
  • 例:「2023年のノーベル賞を受賞した田中太郎について詳しく教えてください」

マイナーな事実やニッチな知識を求めるプロンプト

学習データに十分な情報がない場合、AIはそれを補完しようとするため、不正確な情報を生成する可能性があります。

  • 例:「中世フランスにおける医療の慣習を教えてください」

曖昧な質問や言葉遊びを含むプロンプト

解釈の余地が大きい質問では、AIが適当に情報を補完し、不正確な回答を生成することがあります。

  • 例:「世界で一番賢い人は誰ですか?」
  • 例:「世界で一番人気のある本を教えてください」

大手メディアや法律分野での具体的な事例

ハルシネーションは、特に医療や法律といった正確性が求められる分野では重大な影響を及ぼす可能性があります。AIを用いると効率的に文章を生成できますが、その内容は必ずしも正確ではないため、特に信頼性が求められる場面では慎重に扱う必要があります。

現在では、これらの事例が起こった時よりAIが賢くなっているため同様の事例が起きる事例は低いかもしれませんが、依然としてリスクは存在します。

米CNETがChatGPTに書かせた解説記事が間違いだらけで大炎上

米CNETが2022年11月頃から2023年1月にかけてChatGPTを使用して解説記事を作成したところ、多くの誤りが含まれた記事が公開され、大炎上する事態となりました。

結果的に、このメディアは読者からの信頼を失うことになりました。

【参照】米CNET、AIにひっそり書かせた記事が間違いだらけだった
https://www.gizmodo.jp/2023/01/cnet-ai-chatgpt-news-robot.html(GIZMODE 2023/1/23)

ChatGPTが生成した存在しない判例を裁判所に提出し弁護士が制裁を受ける

2023年5月に弁護士がChatGPTを使用して法律調査を行った際に、ChatGPTが生成した存在しない判例を引用する事態が発生しました。存在しない判例を引用した文書は、誤りに気づかれず裁判所に提出されました。

その結果、裁判所はこの事態を重く受け止め、弁護士に対して制裁措置を検討しました。

【参照】Lawyer Used ChatGPT In Court—And Cited Fake Cases. A Judge Is Considering Sanctions
https://www.forbes.com/sites/mollybohannon/2023/06/08/lawyer-used-chatgpt-in-court-and-cited-fake-cases-a-judge-is-considering-sanctions/(Forbes 2023/6/8)

創薬分野でのハルシネーションの活用事例

2025年1月に発表された論文「Hallucinations Can Improve Large Language Models in Drug Discovery)」では、ハルシネーションが創造性が求められる薬剤発見の分野で有益に働く可能性が示されました。

著者らは、LLMが分子のSMILES文字列から自然言語による説明を生成し、その説明をプロンプトに組み込むことで、薬剤発見に関連する特定のタスクの性能向上を試みました。その結果、ハルシネーションを含むテキストを入力に加えることで、ハルシネーションを含まないプロンプトを用いた場合と比較して、性能が向上することが確認されました。

新薬開発は膨大な量のデータを分析し、未知の化合物を探索するプロセスです。ハルシネーションを活用することで、従来の常識に捉われない、新しい発見をもたらす可能性があるのかもしれません。

【参照】Hallucinations Can Improve Large Language Models in Drug Discovery
https://arxiv.org/abs/2501.13824(Cornell University 2025/1/23)

おわりに

ハルシネーションを引き起こしているAIの出力を信じてそのまま活用すると、誤情報の拡散や意思決定の誤りを引き起こすリスクがあります。ハルシネーションを防ぐには、AIが解釈しやすいように具体的で明確な命令を与えることが重要です。また、生成された情報が正しいかどうかを、検索サービスや他の情報源で裏付けることが求められます。

Geminiのようにファクトチェック機能が搭載されているAIサービスもあり、こうした機能を活用して生成された情報を検証することで、誤情報のリスクを軽減できます。

AIが出力した内容を適切に検証しながらAIを活用することがリスクを最小限に抑え、生活をより豊かにするための鍵となるでしょう。

株式会社ステラセキュリティ 取締役副社長 CTO
大学卒業後、株式会社ディー・エヌ・エーに入社し、セキュリティエンジニアとして活躍。その後、株式会社アカツキに1人目のセキュリティエンジニアとして入社し、脆弱性診断内製化、セキュリティチーム組成に尽力。 著書に『ポートスキャナ自作ではじめるペネトレーションテスト』『マスタリングGhidra』(いずれもオライリー・ジャパン)、『リバースエンジニアリングツールGhidra実践ガイド』(マイナビ出版)

連載バックナンバー

セキュリティ技術解説
第2回

ハルシネーション ーAIが見せる幻想のリスクと利活用

2025/3/13
第2回の今回は、AIが誤った事実を生成する「ハルシネーション」という現象とそのリスク、利活用について解説します。
セキュリティ技術解説
第1回

AIサービスの進化とその裏に潜むセキュリティリスク

2025/2/7
第1回の今回は、AIサービスの進化に伴うクローリング問題やAPIキー漏洩、サプライチェーン攻撃などのリスクについて解説します。

Think ITメルマガ会員登録受付中

Think ITでは、技術情報が詰まったメールマガジン「Think IT Weekly」の配信サービスを提供しています。メルマガ会員登録を済ませれば、メルマガだけでなく、さまざまな限定特典を入手できるようになります。

Think ITメルマガ会員のサービス内容を見る

他にもこの記事が読まれています