この項目で混ざったもの
ハード側Hopperに8ビット浮動小数点FP8を追加ソフト側層ごとに精度を選び倍率を調整する
2022年3月22日、NVIDIAはGTCでHopperアーキテクチャとGPU「H100」を発表しました。プレスリリースによると、H100は800億個のトランジスタを持ち、TSMCの「4N」という製造工程で作られます。Transformer（文章などの並びを扱うAIの仕組み）向けの「Transformer Engine」は、前の世代に比べ最大6倍速くするとされ、精度は落ちないと説明されています。
DGX H100（H100を8個積んだサーバー）は、新しいFP8でAI性能32ペタフロップスとされています。技術ブログによると、Transformer Engineは、ソフトとHopper専用のTensor Coreの回路が組んで働きます。各層で、Tensor Coreが出した値の統計を調べ、FP8（1つの数を8ビットで表す形式）と16ビットのどちらにするかをその都度選びます。FP8は表せる数の範囲が狭いため、統計から求めた倍率で値を調整し、各層が必要な範囲に収まるようにします。ここでは、数を表す形式という、ハードが得意とする表現と、それを層ごとに選ぶソフトの制御が一体になっています。
作った理由について、同じブログは、BERTからGPT-3まで、Transformerが兆個単位のパラメータに育ち、学習が数か月かかるようになったと説明しています。例として、MT-NLGは2048個のA100で8週間かかり、Transformerの大きさは過去5年で2年ごとに約275倍になったと書いています。
ブログは、大規模言語モデルでA100に比べ学習が最大9倍、推論が最大30倍になるとしていますが、これらは予備的な数字とされています。H100は第4世代NVLinkも備え、外付けのNVLinkスイッチで最大256個のH100をつなげるとプレスリリースは書いています。ただし技術ブログには、このスイッチのシステムはH100搭載機ではまだ使えない、とも書かれています。次の項目では、この「GPUをつなげる」ことが、ラック全体へと広がります。
- 発表日
- 2022年3月22日（GTC）
- H100のトランジスタ数
- 800億個（TSMC 4N）
- Transformer Engineの速さ（プレスリリース）
- 前世代比で最大6倍
- A100との比較（技術ブログ、予備値）
- 学習最大9倍／推論最大30倍
確認できていない点
- 6倍と9倍・30倍の比較条件の違い（開いた資料では対応関係が示されていなかった）
- 技術ブログは、H100のA100比『約6倍』をピーク計算性能（SM数の増加、第4世代Tensor Core、FP8とTransformer Engine、クロックの合計）の話として書いており、プレスリリースのTransformer Engineの『最大6倍』と同じ条件かは確認できていない。2026-10-18時点でNVLink Switchシステムが使えるかも確認していない
出典
- NVIDIA Announces Hopper Architecture（NVIDIA ニュースルーム）
- NVIDIA Hopper Architecture In-Depth（NVIDIA開発者ブログ）
2026年10月18日に、上の出典（会社・研究機関の公式の資料と原著論文）を読んで確かめました。製品の仕様や提供状況は変わることがあります。この記事は、製品を試した記録ではありません。