AIが「答え方」を覚えるのは、事前学習のあとの事後学習：RLHFとDPOまでの流れを、論文とモデルカードで確かめる

3行でいうと

事前学習の目的は「次のトークンの予測」。それだけでは、指示に従う、誠実に答える、といった目的とずれる、とInstructGPT論文は述べている。
RLHFは、人の手本、人の比較、強化学習の3段階。論文では、1.3Bモデルの出力が175BのGPT-3より好まれた。
DPOは、報酬モデルと強化学習を使わず、好みのデータだけで同じ目的を最適化する方法。2026年の各社のモデルカードは、事後学習の細部をほぼ公開していない。

この記事は、実際に使って確かめた記録ではありません。この記事は、論文とモデルカード（モデルの説明書）を読んでまとめたものです。論文の数字は、その論文の条件での結果で、今のサービスのAIの性能を表すものではありません。

先に結論

AIの学習は、大きく2つに分けて説明されます。事前学習（まず言葉と知識の土台を作る）と事後学習（そのあと、使いやすい「答え方」に調整する）です。
事後学習には、手本を見せる学習（教師あり微調整）、人の比較から「よい答え」の点数を学ぶ仕組み（報酬モデル）と強化学習（RLHF）、それらを簡略化したDPOなどがあります。
各社の最新モデルが、実際にどの方法を、どれだけ使っているかは、読んだモデルカードにはほとんど書かれていませんでした。論文は2022年と2023年のもので、方法の「型」を知るための資料です。

前提：用語

事前学習（pre-training）は、大量の文章（ウェブ、本、コードなど）から、並びの続きを当てる練習をさせることです。
トークンは、AIが文章を数える単位です。次のトークン予測は、「ここまでの文章の次に来る単位は何か」を当てることです。
事後学習（post-training）は、事前学習のあとに行う学習の総称です。指示に従う、安全に答える、といった調整を含みます。
微調整（ファインチューニング）は、できあがったモデルを、追加のデータで調整することです。
強化学習は、「よい結果なら点数が高い」という報酬を使い、点数が上がる行動を増やす学習です。
RLHF（人間のフィードバックによる強化学習）は、人の評価を報酬として使う強化学習です。
モデルカード・システムカードは、AIを公開するとき、会社が出す説明書です。学習データ、評価、安全性などが書かれます。

全体の流れ

段階	何を学ぶか	使うデータ（論文での例）
事前学習	並びの続きを当てる。言葉・知識・コードの土台	大量の文章（ウェブなど）
教師あり微調整（SFT）	人が書いた「望ましい答えの手本」をまねる	人が書いた手本。InstructGPTでは約1.3万件のプロンプト
報酬モデルの学習	人が「どちらがよい答えか」を比べた結果から、点数をつける	人の比較。InstructGPTでは約3.3万件のプロンプト
強化学習（PPO）	報酬モデルの点数が高くなる答え方に調整する	APIのプロンプト。InstructGPTでは約3.1万件

数字は、InstructGPT論文のSFT、報酬モデル、PPOのデータセットの規模（約13k、33k、31kのプロンプト）です。

事前学習：何を学ぶか

InstructGPT論文は、多くの大きな言語モデルの目的を、「インターネット上のウェブページで、次のトークンを予測すること」と書いています。そして、それは「ユーザーの指示に役立つ形で、安全に従う」という目的とは違い、そのため「言語モデリングの目的は、ずれている（misaligned）」と述べています。つまり、事前学習だけのモデルは、作り話をする、有害な文章を出す、指示に従わない、といったことが起こりえます。

最近のモデルは、どこまで公開しているか

読めた範囲の公式文書は次のとおりです。

OpenAI（GPT-6 Astra、EU AI規則向けの学習内容の公開要約、2026年9月2日更新）：テキストの学習データの規模は「10兆トークンを超える」の区分に印がついています（正確な数ではなく区分です）。公開されたウェブのデータ、提携で得たデータ、合成データ、人間が作ったテキストなどの混合で、Common Crawlのテキストを含むと書かれています。合成データは、同社の過去のモデル（GPT-5.6、5.5、5.4）などで作ったと書かれています。クローラ（自動収集の仕組み）はGPTBotで、robots.txtを尊重します。
Google（Gemini 3 Pro モデルカード、2026年5月更新）：事前学習のデータは、公開ウェブ文書、テキスト、コード、画像、音声、動画など。事後学習のデータは、指示のチューニング用データ、強化学習用データ、人の好みのデータ。「多段階の推論ができる強化学習の手法で訓練した」と書かれています。安全対策の一覧に、教師あり微調整と、「人と批評役（critic）のフィードバックによる強化学習」があります。使ったアルゴリズムや、人のフィードバックの詳細は書かれていません。Gemini 3.1 Proのモデルカードは、学習の説明をGemini 3 Proのカードに委ねています。
Anthropic（Claude Haiku 5.5 システムカード、2026年10月7日）：学習は、インターネットの公開情報、公開・非公開のデータセット、フィードバックなどに含まれる利用者のデータ（または学習への利用を明示的に許可したもの）、他のモデルが作った合成データなどの混合。事前学習のあと、「Claudeの憲法（constitution）に書かれた価値に沿うアシスタントにするための事後学習と微調整」を行った、と書かれています。知識の期限は2026年6月です。クラウドワーカー（外部の作業者）が、好みの選択、安全性評価、敵対的テストに関わる、との記述もあります。

事後学習：RLHFの3段階（InstructGPT）

InstructGPT論文（OpenAI、2022年）は、GPT-3を、人の評価を使って調整する方法を示しました。3段階です。

手本の収集と教師あり学習：雇った作業者（約40人）が、プロンプトに対する望ましい答えを書き、GPT-3をそのデータで微調整。
比較データと報酬モデル：同じ入力への複数の出力を、作業者が好ましい順に並べ、それをもとに、人が好む答えを予測する報酬モデルを学習。論文では6Bの報酬モデルを使っています。175Bの報酬モデルは、不安定になることがあった、と書かれています。
強化学習（PPO）：報酬モデルの点数を報酬として、手順1のモデルを強化学習で調整。元のモデルから離れすぎないように、トークンごとにKLペナルティ（元のモデルとの差に罰をつける項）を足しています。

論文の主な結果（その論文の条件でのものです）。

作業者の評価で、1.3Bパラメータ（パラメータは学習で決まる数字の個数）のInstructGPTの出力が、175BのGPT-3の出力より好まれた。パラメータは100分の1以上少ない。
175BのInstructGPTは、175BのGPT-3に対して85±3%の割合で好まれ、指示の例を付けたGPT-3に対しては71±4%。
TruthfulQA（誠実さの評価）で、真実かつ有益な答えを出す割合が約2倍。入力にない情報を作る割合は、GPT-3の41%に対して21%。
「敬意を持って答えて」と促した場合、有害な出力が約25%少なかった。ただし、偏り（バイアス）の評価では大きな改善がなかった。
一部の公開ベンチマークで性能が下がる「アライメント税」があり、事前学習の目的を混ぜたPPO-ptxで大きく減った。
データの96%以上が英語。作業者の好みに合わせたもので、「人類全般の価値」ではない、と論文自身が述べている。

強化学習の目的関数（式の読み方）

InstructGPT論文の式(2)の考え方です。

報酬モデルの点数（r）を高くする。
元の教師あり学習のモデルとの違い（KL）に、係数βで罰をかける。報酬モデルの点数だけを追って、おかしな答えに偏るのを防ぐ。
PPO-ptxでは、さらに事前学習のデータでの対数尤度（元の言葉の予測能力）の項を、係数γで足す。

式の細かな導出は、この記事では扱いません。

DPO：強化学習を使わない簡略化

DPO（Direct Preference Optimization、Rafailovら、2023年）は、RLHFを「複雑で不安定になることがある」と述べ、報酬モデルを別に作らず、強化学習も使わない方法を示しました。

論文の説明は次のとおりです。

RLHFと同じ目的（KLの制約つきで報酬を最大化する）を、好みのデータに対する単純な分類の損失で最適化できる。
更新の直観は、「好まれた答えの確率を上げ、好まれなかった答えの確率を下げる」。ただし、暗黙の報酬の推定が間違っているデータを重く扱う重みがつく。
実験は、最大6Bパラメータの言語モデルで、感情の制御、要約、1回のやりとりの対話。要約では、勝率が約61%（温度0.0）で、PPOは約57%。論文は、βを十分調整していないので、DPOの力を過小評価しているかもしれない、とも書いています。

見立てです。DPOは「同じ目的を、手順を減らして達成する」方法だと理解しました。報酬モデルを作る手間や、強化学習の不安定さを避けたい場面で、有力な選択肢になると思います。ただし、論文の実験は6Bまでです。今の巨大なモデルでどれが主流かは、読んだ資料からは分かりません。

人間以外のフィードバックと、検証できる報酬

事後学習の方法は、人の評価だけではありません。

Constitutional AI（Anthropic）：公式の説明によると、2段階です。まず、モデルが自分の答えを「憲法（原則のリスト）」に照らして批評・修正し、修正後の答えで微調整します。次に、AIが、どちらの答えが原則に合うかを判断する「AIフィードバックによる強化学習（RLAIF）」を行います。人の関与は、原則のリストが中心で、人手のラベルを大幅に減らせる、と説明されています。
検証できる報酬の強化学習（DeepSeek-R1論文、2025年1月、v2は2026年1月）：数学やコードのように、答えが正しいか機械的に確かめられる分野で、ルールに基づく報酬（正解かどうか、形式が守られているか）を使い、純粋な強化学習で推論能力を引き出せる、と報告しています。アルゴリズムはGRPO（PPOと異なり、価値モデルを使わない方式）です。

読み方・選び方

見立てです。使う側にとっての意味は、次のようになると思います。

AIの「性格」や「答え方」の多くは、事後学習で作られる。同じ土台でも、事後学習が違えば、断り方や口調、安全の線引きが変わりうる、と読めます。ただし、これはInstructGPT論文の内容（事前学習だけのGPT-3と、調整後の違い）からの推測です。
好みで学習するので、「作業者や評価者の好み」が反映される。InstructGPT論文自身が、作業者の好みに合わせたものだと述べています。
モデルカードで、事後学習の詳細を知るのは難しい。読んだ3社の最新の文書でも、手法の名前は一部ありますが、データ量や手順、アルゴリズムはほとんど書かれていません。

よくあるつまずき

見立てです。

「RLHFは今のAIの標準的な方法」と断定する。論文はRLHFの方法を示したもので、各社の現在の方法は、読んだ資料では確認できませんでした。
「DPOはRLHFの上位互換」と考える。論文は、同等以上とする結果を示していますが、範囲は小さなモデルと限られたタスクです。
「事後学習で、事前学習の知識が増える」と考える。InstructGPT論文は、主に「答え方」と「目的への整合」の調整として説明しています。知識がどこで増えるかは、読んだ資料では結論できません。
「人の評価は客観的」と考える。作業者の一致率は、論文では72.6±1.5%でした。

気をつけること

この記事では、ここに出てくる学習を行っていません。論文とモデルカードの記述をまとめたものです。
InstructGPTは2022年、DPOは2023年の論文で、現在の各社のモデルの学習方法を表すものではありません。
論文の数字は、その論文のモデル、データ、評価の条件のものです。「勝率」や「好まれた割合」は、作業者やGPT-4などの評価者によるもので、絶対的な性能ではありません。
OpenAIの学習内容の要約は、EU AI規則に基づく形式で、データの区分や概要が中心です。事後学習の詳細は書かれていません。
Anthropicのシステムカードは、Haiku 5.5のものを読みました。他のモデルのカードは読んでいません。
Constitutional AIは、公式の紹介ページを読んだもので、論文の本文は読んでいません。
各社の最新モデルの学習方法について、ここで書いたこと以上は、確認できていません。

出典

更新履歴

2026年10月25日 書き方を直しました。
- 前：運営者が使っていないと読める書き方 → いま：「この記事は、実際に使って確かめた記録ではありません」。公式の資料を読んでまとめた記事で、使い心地は書いていない、という意味に直した