3行でいうと

  • CPUは万能型、GPUは大量の小さな計算を同時にこなすのが得意で、今のAIの計算の主役です。
  • TPUはGoogleが機械学習のために作った専用の部品、NPUはパソコンやスマホに入るAI向けの小さな専用部品です。
  • 大きなAIの学習はデータセンターのGPUやTPU、手元の端末でのAIはNPU、という大まかな分担です。
  • 性能の数字は各社の発表で条件が違うため、会社をまたいで比べないよう書かれています。

この記事は公式・一次資料を読んでまとめたものです。この記事は、実際に使って確かめた記録ではありません。

先に結論

たとえ話：大工さんと工場のライン

CPUは、腕のいい大工さんが1人で、家の仕事をなんでもこなす姿に似ています。壁も屋根も配線もできますが、一度に1つか数個の作業を順番に進めます。

GPUは、同じ作業を何百人もの作業員が一斉にやる工場のラインです。1人1人は単純な作業しかできなくても、数が多いので、同じ形の仕事は一気に終わります。

TPUとNPUは、「この作業だけ」に作り込んだ専用ラインです。ほかの仕事はできないか苦手ですが、決まった作業は速く、電気も少なくて済むことを狙っています。

仕組み：なぜAIの計算に向くのか

AIの文章生成などは、巨大な数字の表をかけ合わせる計算（行列計算）を、膨大に繰り返しています。同じ種類の計算を、大量に、同時にこなせる部品が向いています。

GPU

NVIDIAの解説では、CPUは「少数のコア（計算の担当）」を持ち、少数のスレッド（作業の流れ）を順に扱うのに対し、GPUは何百ものコアを持ち、何千ものスレッドを同時に扱います。複雑な問題を小さな仕事に分けて、同時に解くのが得意だと書かれています。同社の別のページでは、GPUを「大量のデータを並列に処理するよう設計された専用チップ」と説明し、機械学習・AIの計算の標準になっていると書いています。

IEAの報告書も、AIの計算は主にGPUと、TPUのような専用チップで行われると書いています。GPUは「極めて速い並列処理」ができるため、AIの学習や運用がずっと速く、電力効率もよくなる、という説明です。

NVIDIAのGPUには「Tensor Core」という部品があります。公式ページは、AIや高性能計算の数学を速める専用のコア、と説明しています。計算の精度を状況に応じて切り替え、速さと正確さを両立する「混合精度」の計算に対応する、とも書いています。

TPU

Googleは、TPU（Tensor Processing Unit）を、機械学習を速めるために作った専用のチップ（ASIC）と説明しています。公式の技術文書には、次のことが書かれています。

同じ文書は、CPUは最も柔軟で、GPUは独自の処理が多いモデルなどに向き、TPUは最も専門的、と3つを並べて説明しています。

Googleのクラウドのページ（2026年10月8日確認）には、TPUの世代が並んでいます。

世代 状態 公式ページの説明
Ironwood（第7世代） 一般提供 学習、推論向け。1つのポッドに9,216個のチップ（液冷）。前世代Trilliumより、チップあたり4倍の性能
Trillium（第6世代） 一般提供 前世代のTPU v5eに比べ、エネルギー効率が67%よい。チップあたりの最大計算性能は4.7倍
TPU 8t 近日公開 大規模な事前学習向け。1つのスーパーポッドに9,600個のチップ
TPU 8i 近日公開 学習後の調整と推論向け。大規模なMoEモデルの低遅延の推論で、費用あたりの性能が80%向上

数字はGoogleの発表です。比較の条件は、読んだページには詳しく書かれていません。

NPU

Microsoftの開発者向けページは、NPU（Neural Processing Unit）を「リアルタイム翻訳や画像生成のような、AIの重い処理のための専用チップ」と説明しています。AIのモデルを構成する深層学習の計算を行うために設計され、大量のデータを並列に処理でき、CPUやGPUよりAIの処理を省エネで行えて、電池が長持ちする、と書かれています。

Apple（Mac、iPhone）では、同じ役割の部品を「Neural Engine」と呼びます。Appleの研究ページは、これを「Apple製チップ上での機械学習の推論のための、省エネで高スループットなエンジン」と説明しています。最初の世代は2017年のiPhone Xのチップ（A11）で登場しました。機械学習の処理を端末の中でするので、推論に使うデータがサーバーに行かない、と書かれています。

IntelのAI用部品は「Intel AI Boost」という名前で、Core Ultraシリーズのパソコンで、タスクマネージャーに表示される、という案内が公式サポートページにありました。NPUが何かの説明は、そのページにはありませんでした。

「TOPS」という数字

NPUの宣伝には「40 TOPS」のような数字が出てきます。Microsoftのページは、Windowsの新しいAI機能の多くが「40+ TOPSで動くNPU」を必要とすると書き、Copilot+ PCを「1秒あたり40兆回を超える演算（TOPS）ができるNPU」を持つパソコンと説明しています。AppleはM4のNeural Engineを「1秒あたり最大38兆回の演算」と発表しています（Appleの発表）。

見立てです。TOPSは「1秒に何兆回の演算ができるか」の最大値の目安で、実際のアプリの速さそのものではないと思います。計算の精度（数字の細かさ）の条件が会社ごとに同じかは、読んだページでは確認できていません。数字だけで、会社をまたいで優劣を決めるのは避けたほうがよさそうです。

実際の使い道とすみ分け

主な置き場所 得意なこと（公式の説明から）
CPU パソコン、サーバーなど 柔軟さ。順番に進める作業、試作、小さなモデル
GPU データセンター、パソコン 大量の並列計算。AIの学習と運用の主役
TPU Googleのクラウド 行列計算が中心の大規模な学習、推論
NPU パソコン、スマホ AI処理を省エネで。端末の中での翻訳や画像処理など

電気とのつながり

IEAの報告書は、最新で最も強力なGPU1つの最大定格電力は約1,000ワットで、これはトースター1台ほど、と書いています。GPT-4の学習には約2万5千個のGPUが使われた、と推計しています（外部の推計を引いたものです）。部品を省エネにする競争は、データセンターの電力の問題と直結しています。詳しくは別の記事「データセンターと電力」で扱っています。

気をつけること

出典

更新履歴