3行でいうと

  • AIは、もっともらしい文章で、事実でないことを答えることがあります。これをハルシネーションと呼びます。
  • 読んだ範囲では、いまの技術で完全になくせると書いた会社はありません。文部科学省も、完全に防ぐのは極めて難しいと書いています。
  • 答えは下書きとして扱い、人の名前、日付、数字、引用、URLは元の資料で確かめます。
  • 資料を貼って「書いてあることだけで答えて」と頼む聞き方も、公式資料で紹介されています。

この記事は、公式・一次資料を読んでまとめたものです。この記事は、実際に使って確かめた記録ではありません。医療、法律、お金の個別の判断は、専門家に相談してください。僕らの考えは「見立てです。」で始めて、事実と分けて書きます。

先に結論

何が問題なのか

公式資料に出てくる、具体的な例です。

共通するのは、間違った答えも、正しい答えと同じ口調で出てくることです。OpenAIのヘルプは、自信ありげな口調は、正しさの保証にならないと書いています。

公式・一次資料に書かれていること

なぜ間違えるのか

出どころ 書かれている理由（言い換え）
OpenAI「Why language models hallucinate」（2025年9月5日） ① いまの訓練と採点は、当て推量に得点をあげて、「分からない」には点を与えない。選択式のテストで、誤答の減点がないのと同じ。② 訓練の文章には「これは正しい」「これは誤り」というラベルがなく、正しい文と間違った文を見分けにくい。③ 誕生日のように、規則性のない、まれな事実は、パターンから当てることができない。④ 訓練のあとの調整でも、完全には直らない
OpenAIヘルプ「Does ChatGPT tell the truth?」 訓練に使ったデータは、ある時点で終わっているので、新しいできごとを知らない。自信のある口調は、正しさとは別。サイトに入れなかったり、有料の壁があったりして、情報にたどりつけないこともある。複雑な問題を単純にしすぎることもある
Google「Gemini の概要」 大規模言語モデルは、まだ、正確な情報と不正確な情報を自分で完全には区別できない。自信ありげに、もっともらしく、不正確な、または誤解を招く内容を出すことがある
Anthropic「Claudeの回答が間違っているとき」 分野によっては、最新の情報で訓練されていないことがある。権威がありそうに見える引用や主張を作ってしまうことがある
Microsoft「Microsoft 365 Copilotの透明性ノート」 大規模言語モデルには、元の資料にない内容を、正しそうに出す危険がある。AIサービスは「間違いうるもので、確率にもとづくもの」
文部科学省ガイドライン Ver. 2.0（令和6年12月26日） モデルの性質上、誤った出力（ハルシネーション）を完全に防ぐことは極めて難しい

OpenAIの説明のうち、③は日常の感覚に近いと思います。「文法」や「かっこの対応」のような規則のある間違いは、モデルが大きくなると減る。しかし、特定の人の誕生日のような、規則のない事実は、どれだけ賢くなっても当てようがない、と説明されています。

会社側は、どう減らそうとしているか

  • 採点のやり方を変える。 OpenAIは、自信を持った間違いに、「分からない」より重い減点を与える。適切に不確かさを伝えたことには、部分点を与える。そうした採点に、広く使われている評価を変えるべきだと書いています。追加のテストをいくつか足すだけでは足りない、とも書いています。
  • 「分からない」と言えるようにする。 OpenAIは、モデルが不確かなときは答えを控えられるはずだとしています。OpenAIの行動の方針（Model Spec）は、自信ありげで間違いかもしれない情報を出すより、不確かさを伝えるか、聞き返すことを好むと書かれています。
  • 検索や資料の参照で、根拠をつける。 文部科学省のガイドラインは、検索拡張生成（RAG）の技術で、誤った回答を抑える技術を例に挙げています。RAGとは、特定のデータベースを検索して、その結果も考慮して答えを作る仕組みのことです。経済産業省・総務省のAI事業者ガイドライン（第1.2版）にも、RAGの活用などで、ハルシネーションの抑制や出力の根拠の透明性が高まることが期待されている、と書かれています。
  • 出典を見せる。 OpenAIのヘルプは、検索や、複数の情報源を使って引用を付ける「ディープリサーチ」を、正確さを高める道具として挙げています。Microsoftは、仕事の文書にもとづく答えには、できるかぎり、確かめるための出典を付けると書いています。Geminiも、答えによっては「Sources」のボタンから関連するリンクを見られます。ただし、すべての答えにリンクが付くわけではない、と書かれています。

OpenAIの文書には、数字も出ています。同社のGPT-5のシステムカード（安全性の報告書）の、SimpleQAという事実を聞く問題の結果として、次の表が載っています。

項目 gpt-5-thinking-mini OpenAI o4-mini
答えを控えた割合 52% 1%
正しく答えた割合 22% 24%
間違って答えた割合 26% 75%

OpenAIは、古いo4-miniのほうが少し正答率が高いが、間違いの割合（ハルシネーションの割合）がずっと高い、と説明しています。当て推量をすれば正答率は少し上がるが、間違いも増えるという例です。この表は、OpenAIのページに載っているもので、僕らは同じページを聞き方を変えて2回読んで、数字が一致することを確かめました。システムカード自体は読んでいません。他社のモデルとの優劣は、この表からは言えません。

使う側への助言（公式の文書から）

  • OpenAI（ヘルプ）：答えを「最初の下書き」として扱う。引用、データ、技術的な内容、参考文献を、元の資料で確かめる。正確さが大事なときは、検索やディープリサーチを使い、引用されたリンクを訪ねる。
  • OpenAI（利用規約、2026年1月1日施行）：出力は常に正確とは限らない。唯一の事実のよりどころにしない。使ったり共有したりする前に確かめる。人についての出力を、その人に法律上や重大な影響を与える判断に使わない。
  • Anthropic（開発者向けのガイド）：「分からないと言ってよい」とAIに許可する。長い資料では、先に原文の引用を抜き出させて、その引用だけを根拠に答えさせる。主張ごとに引用を付けさせ、裏づけが見つからなければ取り下げさせる。同じ質問を複数回して答えを比べると、食い違いがハルシネーションのサインになりうる。同じガイドは、これらで大きく減るが、なくなりはしない、重要な情報は必ず確かめるよう書いています。
  • Anthropic（ヘルプ）：重要な助言は注意深く吟味する。ウェブ検索の結果なら、元のサイトを確かめる。元のサイトには、AIの要約に入らなかった文脈があるかもしれない。
  • Google（ヘルプ）：Geminiのアプリは間違えることがあるので、答えを確かめる。とくに人についての答えは不正確なことがある。医療、法律、お金などの専門的な助言の代わりにしない。
  • Microsoft（透明性ノート）：出力は不正確、不完全、的外れでありうるので、利用者が、期待や要件に合うかを確かめる。
  • 文部科学省ガイドライン：情報の真偽を確かめる（ファクトチェック）には、情報の発信者、発信された時期、内容、他の情報との比較を組み合わせる。検索エンジンの結果には、生成AIが出力したものが含まれている可能性に留意する。

今日からできる対策

どれも、上の公式資料にあることを土台にした整理です。

答えを受け取るとき

聞き方で減らす

見立てです。「自分の答えを確かめて」とAIに聞き返すのも、食い違いを見つける手になると思います。Anthropicのガイドには、前の答えをもう一度確認させると、食い違いが見つかることがあると書かれています。ただ、同じAIが同じ思い込みを繰り返すこともありうるので、仕上げは自分で、元の資料でするのが安全だと思います。

見立てです。時間が限られるときは、答えのうち「あとで人に見せたり、お金や約束に使ったりする部分」だけを、元の資料で確かめればよいと思います。雑談や、アイデア出しのような、間違っても困らない使い方なら、全部を確かめなくてもよいはずです。

気をつけること

出典

更新履歴