この項目で混ざったもの
ハード側推論用と学習用のAIチップ設計ソフト側Neuron SDKで主要な枠組みに対応
2018年11月28日、AWSはre:Inventで、機械学習の推論（学習済みのAIに答えを出させる処理）用チップ「AWS Inferentia」を発表しました。AWS自身が設計したチップで、公式発表は「チップ1つあたり数百テラフロップス、EC2インスタンス1つあたり数千テラフロップス」と述べ、提供は2019年としました。その後、2019年12月3日の発表では、Inferentiaを載せたInf1インスタンスが示され、1チップ128 TOPS、1インスタンス最大2,000 TOPSとされました。2020年12月1日のre:Inventの基調講演では、学習用の新チップ「AWS Trainium」が予告されました。
何が混ざったのかを説明します。ハード側では、AIの計算に特化したチップを、クラウド会社が自分で設計するようになりました。現在の公式ページによると、Inferentiaの第1世代のチップは4つのNeuronCore（演算の単位）と8GBのメモリを持ち、Inf1は最大16チップです。ソフト側では、AWS Neuron SDKが、これらのチップでモデルを動かすための道具の一式になります。2022年のTrn1の公式記事によると、SDKにはコンパイラー（チップが実行できる形に変換するソフト）、実行用ライブラリー、開発ツールが入っており、PyTorchとTensorFlowに対応します。このSDKはInferentiaとTrainiumで共通で、モデルをTrainiumに移すには学習コードの数行の変更で足りると書かれています。
理由について、2018年の発表は、推論がAIを実運用するときの費用の大半を占めるとし、「学習に1ドル使うごとに、推論に9ドル使われる」と説明しています。チップの狙いは、高い処理量と低い遅延を「きわめて低いコスト」で出すことだと書かれています。
その後、2022年10月10日の公式記事で、Trainium搭載のTrn1が利用可能になりました。AWSはこれを、Inferentiaに続く第2世代の機械学習チップと説明し、Amazon EC2 P4dインスタンスと比べて最大50%の学習コスト削減をうたっています（AWSの主張）。次の項目では、このTrainiumが大規模なクラスターになります。
- Inferentiaの発表
- 2018年11月28日
- Inf1の性能（2019年12月の発表）
- 1チップ128 TOPS、1インスタンス最大2,000 TOPS
- Trainiumの予告（基調講演の記録）
- 2020年12月1日、提供は2021年後半の予定
- Trn1の記事
- 2022年10月10日（最大16チップ、メモリ512GB）
確認できていない点
- Trainium予告の根拠は、AWS公式ブログによる基調講演のライブ記録（ジェフ・バー氏のメモ）のみ。公式の発表文は一次情報として確認できなかった
- Inf1がいつ一般提供になったかは、取得した資料からは確かめられなかった（2019年12月3日の発表文は性能と提供経路を述べている）
- 本文は、2020年に予告されたTrainiumの性能の数字を取得できず、書いていない
- 2018年11月28日の発表がre:Inventの場で行われたという点は、取得した発表文の要約では明示を確認できなかった（日付は2つの公式ページで一致）
出典
- Announcing AWS Inferentia: Machine Learning Inference Chip（AWS What's New）
- AWS Announces 13 New Machine Learning Services（Amazon Press Center, 2018年11月）
- AWS Announces Nine New Compute and Networking Innovations for Amazon EC2（Amazon Press Center）
- re:Invent 2020 Liveblog: Andy Jassy Keynote（AWS News Blog）
- Amazon EC2 Trn1 Instances ... Now Available（AWS News Blog）
2026年10月18日に、上の出典（会社・研究機関の公式の資料と原著論文）を読んで確かめました。製品の仕様や提供状況は変わることがあります。この記事は、製品を試した記録ではありません。