Next TokenParallel World

← ラボ / 原文ゼミ

プロンプトに「途中の考えの連なり（chain of thought）」を含めた例を数個示すと、大規模言語モデルの複雑な推論の成績が上がる、と主張する論文。abstractによると、算数・常識・記号の推論課題で3つのモデルを試し、5400億パラメータのモデルに8つの例を示すだけで、算数文章題GSM8Kの当時の最高精度に達したとされている。

読む文書：arXiv:2201.11903（Wei ほか、2022）

  1. 1題名・日付・版を見る

    absページでは、v1は2022-01-28、最新のv6は2023-01-10で、全部で6版。分野はcs.CLとcs.AI。版ごとにファイルサイズが大きく変わっている（v2の933KBからv3の303KBへ）ので、図や付録の入れ替えがあったかもしれない。

    ここで注意：コメント欄と掲載誌情報は、取得したabsページに表示されなかった。発表先を書くなら別の一次資料で確かめる。

  2. 2abstractで主張を1文にする

    「十分に大きいモデルでは、途中の推論ステップを例に含めて見せるだけで、複雑な推論が解けるようになる」。モデルを再学習せず、プロンプトの工夫だけで成績が変わる点が要。

    ここで注意：主張は「大きなモデルで」という条件つき。小さなモデルでは効かないと論文自身が書いている。

  3. 3図表で何が示されたかを見る

    表2の算数課題では、PaLM 540BのGSM8Kが通常のプロンプトで17.9%、chain-of-thoughtで56.9%。算数以外にも、常識課題（StrategyQA、Sports Understandingなど）と、記号課題（最後の文字の連結、コイン投げ）で比較している。

    ここで注意：電卓を併用した場合の58.6%は別条件の数字。条件を取り違えない。

  4. 4実験の条件（データ・モデル・比較相手）を見る

    モデルはGPT-3系（約350M〜175B）、LaMDA（422M〜137B）、PaLM（8B・62B・540B）ほか。算数は手書きの例8個（AQuAのみ訓練データから4個）。比較相手は、答えだけを示す通常の少数例プロンプト。デコードは貪欲法で、モデルの追加学習はしていない。

    ここで注意：常識課題は、例の数や選び方が課題ごとに違う（訓練データからのランダム選択、評価データの先頭10件、6件など）。「どの課題も8個」ではない。

  5. 5限界や「書いていないこと」を見る

    議論の節には、モデルが本当に推論しているのかは未解決、微調整に使う注釈は費用が重くなりうる、推論の道筋が正しい保証はない、大規模でしか効かないので運用費が高い、の4点が挙がっている。アブレーションでは、式だけ・点だけで計算量を増やす・答えのあとに推論を書く、のいずれも効果が小さいと報告されている。

    ここで注意：例を書く人によって結果が大きく変わる課題がある（コイン投げは99.6%から71.4%まで）。プロンプト作りの腕に依存する面も書かれている。

  6. 6その後の影響は論文外の話として分ける

    論文が示したのは、当時の特定のモデルと課題での結果まで。その後の別のモデルや使い方への広がりは論文外の話として、別メモにする。

    ここで注意：最近のモデルで同じ効果が出るかは、この論文からは分からない。僕らは本文でそこまでは読んでいない。

この種の文書を読むときの型

プロンプト手法の論文は、手法の定義 → 比較相手（通常のプロンプト）との差 → モデルの規模ごとの結果 → どの部分が効いているかの切り分け（アブレーション）→ 限界、の順に読む。例の数・書き手・モデルの規模など、結果を左右する条件を表にして書き出すと、数字を安全に引用できる。

確認できていない点（4件）
  • absページのコメント欄・掲載誌情報は取得結果に表示されず、確認していない
  • abstractの原文は要約で取得したため、引用は載せていない
  • 常識課題・記号課題の個別の精度は、取得できた要約の範囲外のため数字を載せていない
  • v2からv6の各版で何が変わったかは確認していない
出典（3件）

確認日：2026年10月23日。取得は要約経由のものを含みます。原文は、上のリンク先で必ず確かめてください。

ラボの資料は、公式の文書を読んでまとめたもので、実際に使って確かめた記録ではありません。日付や仕様は変わるので、使う前に各ページの出典で確かめてください。事実と「僕らの見立て」は、分けて書いています。