「Constitutional AI」を、どこから読むか
読むポイントを順に案内します。
有害な出力へ人間がラベルを付けず、人間が与えるのは「原則（憲法）」の一覧だけで、害の少ないAIアシスタントを訓練する方法を示した論文。abstractによれば、訓練は2段階で、(1)モデルが自分の回答を批評・修正し、修正後の回答で微調整する教師あり段階、(2)AIが2つの回答のどちらが良いか判定し、その判定で作った選好モデルを報酬に強化学習する段階（RLAIF）から成る。有害な依頼には回避せず、断る理由を説明する応答になると書かれている。
読む文書：arXiv:2212.08073（Bai ほか、2022）
1題名・日付・版を見る
absページでは2022-12-15の提出で、v1のみ。コメント欄はない。
ここで注意：absページには会議や雑誌への掲載情報の記載がない。arXivの公開版として読み、引用するときは版を書く。
2abstractで主張を1文にする
「人間の有害ラベルなしに、原則の一覧とAIによる自己改善・AI評価だけで、有害な依頼に答えを避けずに理由を述べるアシスタントを作れる」という主張。
ここで注意：「人間が全く関わらない」ではない。本文では、役に立つこと（helpfulness）のラベルは引き続き人間の比較から得ている。
3図1で2つの段階を見る
図1は、教師あり段階（SL-CAI：レッドチーム用の誘導的な入力に答え、原則に沿って批評・修正し、修正文で微調整）と、強化学習段階（RL-CAI：回答の組をAIが評価し、その評価で選好モデルを作り強化学習）を並べている。図の説明は、批評もAIの評価も少数の原則で方向づけられると述べる。
ここで注意：図の流れは概念図。実際に何件のデータを使ったかは本文のデータ記述で確かめる。
4実験の条件（データ・モデル・比較相手）を見る
本文のデータ記述によれば、レッドチーム用の入力は人が書いた42,496件とモデルが作った140,335件（計182,831件）、役に立つことの入力は人が書いた135,296件。有害さの比較ラベルはAIが作った182,831件。分析の多くは52Bのモデルを使い、有害さの原則は実験で16個。比較相手は人間の有害さフィードバックで訓練したRLHFモデルなど。
ここで注意：数字の「件」は入力（プロンプト）の数か比較ラベルの数かを区別する。16個という数は、論文が実験で使った原則の数であり、「憲法はこの数が適切」という主張ではない（本文には原則の数は有害さのスコアに有意な影響がなかったとの記述がある）。
5図2・図3で何が示されたか見る
有害さと役立ち度のElo（クラウドワーカーの2択比較から計算）を並べた図で、RL-CAIはRLHFモデルより同じ役立ち度で有害さが低い位置にあると本文は説明する。SL-CAIは、本文では、役立ち度は2つのRL系モデルより低く、有害さは Helpful RLHF より低く HH RLHF より高い位置とされる（図3に登場）。評価では、回避的な応答より、有害を避けつつ丁寧な応答を好むよう評価者に伝えたとされる。
ここで注意：このEloは人間の評価者の判断にもとづく相対値で、絶対的な安全性ではない。評価者への指示が結果に影響しうる点に注意。
6限界や「書いていないこと」を見る
本文は、強化学習をしすぎたモデルに、きつい言い回しやお決まり文句が出るグッドハート現象があること、批評が不正確・大げさなことがあること、有害さのスコアの較正（確かさの目盛りの合い方）が高い値で弱いこと、役立ち度のラベルは人間のままであること、原則の選び方が場当たり的であること、悪用の危険、レッドチームへの頑健性が解決済みでないことを挙げる。
ここで注意：「AIが人間の価値観を獲得した」とは書かれていない。原則を誰がどう決めるかは論文でも課題として残る。その後の製品への影響は論文外の話。
この種の文書を読むときの型
訓練手法の論文は、(1)手順を図で追い、(2)どの段階に人間のデータが残っているかを確かめ、(3)データの件数とモデルの大きさを控え、(4)評価が人間の比較か自動指標かを確かめる、の順で読む。「人間の労力を減らす」と「人間が不要」は別物なので、どの種類のラベルが減ったかを読む。
確認できていない点（3件）
- 付録A〜Eの内容（原則の全文、プロンプトの例など）は読んでいない。
- 本文は、HTML版とPDF版の取得（要約が返る形）で確かめた範囲で書いており、各セクションの全文を通読したわけではない。数字（件数など）は2回の取得で一致したものだけ載せた。
- 導入部は「約10個（of order ten）」の原則と書き、後の節では有害さについて16個の原則を書いたとされ、論文はこの2つの数を説明で結んでいない（脚注で原則は場当たり的に選んだと述べる）。
出典（3件）
確認日：2026年10月23日。取得は要約経由のものを含みます。原文は、上のリンク先で必ず確かめてください。
ラボの資料は、公式の文書を読んでまとめたもので、実際に使って確かめた記録ではありません。日付や仕様は変わるので、使う前に各ページの出典で確かめてください。事実と「僕らの見立て」は、分けて書いています。