「Attention Is All You Need」を、どこから読むか
読むポイントを順に案内します。
再帰型や畳み込み型のネットワークを使わず、注意機構（attention）だけで組んだ系列変換モデル「Transformer」を提案する論文。abstractによると、WMT 2014の英独翻訳で28.4 BLEU、英仏翻訳で単一モデル41.8 BLEUを報告し、学習は8基のGPUで3.5日とされている。英語の構文解析にも使えたと書かれている。
読む文書：arXiv:1706.03762（Vaswani ほか、2017）
1題名・日付・版を見る
absページでは、v1の提出日は2017-06-12、最新のv7は2023-08-02と表示され、分野はcs.CLとcs.LG、コメント欄は「15 pages, 5 figures」。版は7つあり、読む版で数字や図が違わないかを意識する入り口になる。
ここで注意：2023年の版(v6・v7)が出ていることは、absページの版一覧から分かる。各版の差分の中身は、この記事では確認していない。
2abstractで主張を1文にする
「注意だけで組んだ簡素なモデルでも、翻訳の品質・並列化のしやすさ・学習時間で従来を上回った」というのが主張。英独28.4 BLEU、英仏41.8 BLEUが代表的な数字として挙がっている。
ここで注意：「上回った」は論文が選んだ2つの翻訳課題と当時の比較対象での話。あらゆる課題で、という主張ではない。
3図表で何が示されたかを見る
PDF/HTML版の表2では、base型が英独27.3・英仏38.1 BLEU、big型が英独28.4・英仏41.8 BLEUで、学習コスト（FLOPs）も並べて比較している。表3は変種実験の表（Variations on the Transformer architecture）で、base型の行は6層・d_model 512・ヘッド数8、big型の行（最下行）は6層・d_model 1024・ヘッド数16と読める。
ここで注意：精度だけでなく学習コストの列も一緒に見る。baseは約12時間、bigは約3.5日（8基のGPU）と本文にある。
4実験の条件（データ・モデル・比較相手）を見る
学習データは英独が約450万文対、英仏が約3600万文。ハードウェアは1台のマシンの8基のNVIDIA P100。比較相手はByteNet、GNMT+RL、ConvS2S、MoEなどと、それらのアンサンブル。
ここで注意：本文6.1節の文章はbig型の英仏スコアを41.0と書いている一方、表2とabstractは41.8。本文内でこの2つが食い違っているので、引用するときはどの箇所の数字か明記する。
5限界や「書いていないこと」を見る
6.2節の変種実験では、ヘッドが1つだと最良設定より0.9 BLEU低く、ヘッドが多すぎても下がる。構文解析は調整実験が少数だったと書かれ、WSJのみで91.3 F1・半教師ありで92.7 F1、再帰型文法(RNNG)の生成型の93.3 F1には届かない（判別型の91.7は上回る）。結論には、画像・音声・動画への拡張や長い入力向けの局所的な注意が今後の課題として挙がっている。
ここで注意：論文が試していないこと（長い入力、テキスト以外）は「できる」とも「できない」とも書かれていない。空欄を推測で埋めない。
6その後の影響は論文外の話として分ける
この論文が書いているのは翻訳と構文解析の実験まで。その後どのようなモデルがこの構造を使ったかは論文の外の話なので、読んだ箇所と混ぜずに別メモにしておく。
ここで注意：論文本文に、後続の大規模言語モデルへの言及を僕らは読んでいない。影響の話は別の一次資料で確かめる。
この種の文書を読むときの型
機械学習の論文は、題名と日付と版 → abstractの主張 → 結果の表と図 → 実験条件（データ・規模・比較相手） → 限界・今後の課題、の順に読むと迷いにくい。数字は表・本文・abstractで照合し、食い違いがあれば箇所つきで書き留める。
確認できていない点（4件）
- 表2のEN-FR列の学習コスト(FLOPs)の数値は、読めた範囲では確認できなかった
- 表4（構文解析の結果表）はHTML版の取得範囲に含まれておらず、F1の数字はPDF版の要約取得で読んだ範囲に限る
- v6・v7が各版でどこを直したかは確認していない
- 論文の発表先（学会など）はabsページに記載がなく確認していない
出典（3件）
確認日：2026年10月23日。取得は要約経由のものを含みます。原文は、上のリンク先で必ず確かめてください。
ラボの資料は、公式の文書を読んでまとめたもので、実際に使って確かめた記録ではありません。日付や仕様は変わるので、使う前に各ページの出典で確かめてください。事実と「僕らの見立て」は、分けて書いています。