3行でいうと

  • OpenAIのヘルプは、存在しない資料への言及や、作られた引用も、ハルシネーション（もっともらしい間違い）の例に挙げています。Googleも、Geminiは出典の付け方について誤って説明することがある、としています。
  • 検索機能を使った答えでも、OpenAIは、出典が答えを本当に支えているか、日付はいつかを自分で確かめるよう書いています。Anthropicも、元のページには要約が落とした文脈があるかもしれない、と書いています。
  • 頼み方では、「分からなければ分からないと書く」「資料の引用を先に抜き出す」が、Anthropicの文書で勧められています。ただし、これでも間違いはなくならない、と同じ文書にあります。

この記事は、公式の文書を読んでまとめたものです。この記事は、実際に使って確かめた記録ではありません。依頼の例文と、確かめる手順の一部は僕らが作ったもので、公式のものではありません。そこは「僕らの見立て」と書きます。

先に結論

公式の文書を読んで言えることは、次の4つです。

  1. 検索の機能を使わない答えの出典は、作り話のことがあります。 OpenAIのヘルプは、作られた引用文、研究、存在しない資料への言及を、ハルシネーションの例に挙げています。
  2. 検索を使った答えにも、間違いはあります。 OpenAIは、出典が不完全、古い、間違いのことがあるとし、Anthropicも、出典を確かめるよう書いています。
  3. 頼み方の工夫は、効きます。ただし、ゼロにはなりません。 Anthropicは、そのための方法を3つ挙げたうえで、完全になくせるわけではないと書いています。
  4. 付いた出典は、自分で開いて確かめます。 これが、3社の公式に共通する、いちばん地味で確実な答えです。

たとえ話：「どこで読んだの？」と聞かれた友人

僕らのたとえです。公式の文書にあるものではありません。

物知りの友人に、「その話、どこで読んだの？」と聞いたとします。友人が記憶だけで答えると、それらしい本の題名と著者を、すらすら言ってくれます。本屋に探しに行ったら、そんな本はない。記憶で話しているのに、出典まで「それっぽく」作ってしまうことがあるわけです。

友人がスマホで調べながら答えてくれるなら、実在するページを教えてくれます。ただ、ページを開いてみたら、友人が言ったことは、そこに書かれていなかった、ということも起こりえます。

AIの「出典」も同じで、「検索なしの記憶」と「検索ありの調べながら」で、気をつける点が違います。

場面ごとに、何が起きうるか

場面 出典で起こりうること 公式の文書が書いていること
検索を使っていない 実在しない資料や、作られた引用が出る OpenAIは、検索なしの答えは学習した内容だけから作られる、と説明。作り話の引用・出典もハルシネーションの例
検索を使っている 実在するページが出るが、答えを支えていない、古い、などがある OpenAIは、出典が答えを支えているか、公開日・更新日を確かめるよう書いている。Claudeのヘルプは、元のページには要約が落とした文脈があるかもしれない、と書いている
自分が資料を渡した 渡した資料にない内容が混ざる Anthropicは、先に資料から引用を抜き出させ、その引用だけで作業させる方法を紹介している

今日からできること

1. まず、検索が使われているかを見る

OpenAIのヘルプによると、ChatGPTは、最新の情報が要る質問では自動で検索することがあり、自分で「View all tools」から「Search」を選ぶ、または入力欄で「/」を打って「Search」を選ぶこともできます。検索が働いたかどうかは、入力欄の検索のアイコンや、答えにWebの出典が付いているかで分かる、とあります。

Claudeのヘルプでは、「+」から「Web search」を切り替える画面があり、新しい画面では切り替えがなく、役立つと判断したときにClaudeが検索する、とあります。Geminiは、答えにある「Sources」ボタンで、関連リンクを開けます。ただし、すべての答えにリンクが付くわけではない、とヘルプに書かれています。

見立てです。出典のリンクが1つも付いていない答えは、検索を使っていない可能性があります。その場合の「出典」は、記憶から作られたものかもしれない、と考えて、特に慎重に見るのがよいと思います。

2. 頼み方を、少し足す

僕らの例です。下の3つは、Anthropicの「分からない、と言ってよいと伝える」「引用を先に抜き出させる」「引用が見つからない主張は取り下げさせる」という方法を、ふだんの言葉に置き換えたものです。

最後の1つは、OpenAIのChatGPT Learnが、大事な作業では最後の確認を頼むよう書いていることに近い使い方です。

3. 付いた出典を、5つの手順で確かめる

次の手順は、公式の勧めを土台にした、僕らの整理です。

  1. リンクを開く。 開けない、ページが存在しない、の場合は、作り話の疑いがあります。ただし、Claudeのヘルプは、一部のリンクが開けないことがあるとも書いています。開けないだけで、作り話と決めつけないでください。
  2. ページの中で、答えの該当する文を探す。 「出典が答えを支えているか」を見る、OpenAIの勧めです。
  3. 日付と発行元を見る。 OpenAIは、公開日・更新日を見て、信頼できる出典を使うよう書いています。
  4. 数字、人名、日付は、元の資料でも確かめる。 要約は、文脈を落とすことがあります。
  5. おかしければ、条件を指定して調べ直してもらう。 OpenAIは、出典・日付・場所を指定して、検索し直してもらう方法を書いています。
Anthropicが挙げる、ハルシネーションを減らす3つの基本

Anthropicの「ハルシネーションを減らす」の文書は、基本の方法を3つ挙げています。

  1. 「分かりません」と言ってよい、と書く。 不確かなとき、または資料に情報が足りないときは、そう答えてよいと明示します。
  2. 引用を土台にする。 長い資料（2万トークン、つまり文字量の単位で2万を超える目安）では、先に一字一句の引用を抜き出させ、その引用だけを使って作業させます。引用が見つからなければ「見つからない」と書かせます。
  3. 出典で確かめる。 主張ごとに引用や出典を求め、答えができたあとで、各主張の裏づけとなる引用を探させます。見つからない主張は、撤回させます。

文書は、これらでハルシネーションを大きく減らせるが、なくすことはできない、重要な情報は必ず確かめる、とまとめています。

誤解されやすい点

「出典が付いていれば正しい」 OpenAIとAnthropicは、出典を確かめるよう、はっきり書いています。リンクは、確かめる入口です。

「『出典を付けて』と頼めば、AIが検索してくれる」 読んだページには、そうは書かれていません。検索が自動で働くのは、最新の情報が必要とAIが判断したときなど、と説明されています。使う画面の「検索」の設定やボタンを見てください。

「AIが『確認しました』と言えば、確認済み」 Googleのヘルプは、Geminiは出典の付け方や、新しい情報の与え方など、自分のしくみを誤って説明することがある、と書いています。AIの自己申告も、確かめる対象です。

やってはいけないこと

気をつけること

出典

更新履歴