「Why Language Models Hallucinate」を、どこから読むか
読むポイントを順に案内します。
言語モデルがなぜもっともらしい誤り（幻覚）を出すのかを、統計的な理論で説明した論文。abstractによれば、幻覚は「この出力は正しいか」という二値分類の誤りとして説明でき、さらに訓練と評価が「分からない」と言うより推測を得にする採点になっているため残る、と主張する。新しい幻覚用の評価を足すより、既存のリーダーボードの採点を変えることを提案している。
読む文書：arXiv:2509.04664（Kalai ほか、2025）
1題名・日付・版を見る
absページでは2025-09-04の提出で、v1のみ。コメント欄はない。HTML版の表示もv1。
ここで注意：所属は論文の表紙（HTML版・PDF）に書かれており、著者の多くがOpenAI、1人が大学（Georgia Tech）の所属。absページには所属は出ない。
2abstractで主張を1文にする
「幻覚の原因は、(1)事前学習の統計的な圧力と、(2)推測が得になる採点、の2つ。だから評価の採点を直すべきだ」と1文にまとめられる。
ここで注意：主張は2つの部分に分かれる。理論の部分（定理）と、評価の慣行への提言の部分は、根拠の強さが違う。
3理論の核（二値分類への帰着と特異率）を見る
本文は、文を生成する難しさは「正しいか」を判定する二値分類（Is-It-Valid）以上であり、生成の誤り率は判定の誤分類率の約2倍以上になる、と述べる（Corollary 1、Theorem 1）。誕生日のようにパターンのない事実では、訓練に1回しか出ない事実の割合（特異率）が、事前学習後の誤りの下限の目安になる（Theorem 2）。
ここで注意：これは理論上の下限で、モデルの実測の幻覚率ではない。仮定（訓練データが正しい、など）を本文で確かめる。「幻覚はなくせない」とは書かれておらず、事前学習した基礎モデルについての話。
4評価と事後学習の議論を見る
多くのベンチマークは正解1点・不正解と「分からない」は0点の二値採点で、この採点では推測が常に棄権より期待値で劣らない（Observation 1）。本文は、主要な10のベンチマークの採点方法を調べた表（Table 2）で、ほとんどが棄権に点を与えないとしている。提案は、各問いに確信度のしきい値 t を示し、誤答の減点を t/(1−t) 点にして、確信が t を超えるときだけ答えさせる形。
ここで注意：提案の減点式は論文の示す一例。実際のベンチマークがこの採点を採るかどうかは別問題で、採用には主要な評価側の変更が要ると本文は述べる。
5実験の有無と、限界・書いていないことを見る
論文は統制した実験を行わず、いくつかの公開モデルへの質問例（誕生日、文字数え、論文題名など）を例示にとどめ、理論と採点方法の調査が中心。議論の節では、意味不明な文字列や誤りの程度を扱わないこと、自由記述の生成の扱いが簡略なこと、検索や推論を使っても二値採点では推測が報われるので万能ではないこと、潜在的な文脈、正誤・不正解・分からないの3分類が単純化であることなどを限界として挙げる。
ここで注意：例示のモデル出力は個別の例で、モデル間の優劣を示すものではない。検索（RAG）で幻覚が解決するとも書かれていない。
6その後の影響は論文外の話として分ける
論文が示すのは理論と提言まで。その後に各社の評価や採点が実際に変わったかは、論文の外の公式資料で別に確かめる必要がある。
ここで注意：「この論文のせいでベンチマークが変わった」といった因果は、論文からは言えない。
この種の文書を読むときの型
理論寄りの論文は、(1)主張を言葉で言い直し、(2)定理の前提と結論の向きを確かめ、(3)定理と実測を分け、(4)提言の部分が理論から導かれるのか意見なのかを分けて読む。証明（付録）は最初は読み飛ばし、結論の条件だけ拾ってもよい。
確認できていない点（4件）
- 証明を含む付録A〜Fの内容は読んでいない。
- Observation 1とSection 4.2の式はPDF版の取得で確かめた。HTML版では当該節の本文が取得できなかったので、HTML版との照合は未了。
- 10のベンチマークの具体名と採点の詳細（Table 2、付録F）は読んでいない。
- 論文公開後の評価・採点の変化は論文外のため、この項目では扱っていない。
出典（3件）
確認日：2026年10月23日。取得は要約経由のものを含みます。原文は、上のリンク先で必ず確かめてください。
ラボの資料は、公式の文書を読んでまとめたもので、実際に使って確かめた記録ではありません。日付や仕様は変わるので、使う前に各ページの出典で確かめてください。事実と「僕らの見立て」は、分けて書いています。