3行でいうと

  • GPUは、もともと画面の表示のために作られた部品です。同じ種類の計算を、たくさんのデータに同時に行うのが得意です。
  • AIの計算は、行列（数字の表）の掛け算のような「同じ計算の大量の繰り返し」が中心なので、GPUが向いています。各社の資料は、そう共通して説明しています。
  • 「高い」「手に入りにくい」とは、IBMや経済産業省の文書に書かれています。ただし、価格の中身は、僕らが読んだ範囲では説明されていません。

この記事は、公式の文書を読んでまとめたもので、実際に使って確かめた記録ではありません。たとえ話と、「見立てです。」で始まる段落は僕らの考えで、公式の文書に書かれていることとは分けて書きました。

先に結論

公式の資料を読んで言えることは、次の4つです。

  1. GPUは「同じ計算を大量に」こなす部品です。 AWSは、GPUを、たくさんの計算を速く行う電子回路と説明しています。もとは画像の表示のためのものでした。
  2. CPUとは役割が違います。 CPUは、パソコン全体の管理や、いろいろな種類の作業をこなす部品です。GPUはそれを置き換えるのではなく、重い計算を手伝います（IBMの説明）。
  3. AIの計算はGPUと相性がよい。 Intelは、AIでは行列の掛け算などが大量に出てくると書いています。NVIDIAは、AIは本質的に「並列処理」の仕事だと書いています。
  4. 高いと言われるのは、事実として書かれています。 IBMは、GPUは高価で手に入りにくく、需要が増えると費用が上がりうると書いています。ただし、いくらなのか、なぜなのかの内訳は、読んだ資料にはありませんでした。

たとえ話：熟練の料理人と、おにぎりを握る100人

僕らのたとえです。公式の文書にあるものではありません。

AIの計算は、「おにぎりを握る」ほうに近い仕事です。次の節で、公式の説明と見比べます。たとえ話は、「順番に1つずつ」と「同時にたくさん」の違いを覚えるためのものです。実際のGPUの中身は、もっと複雑です。

公式資料が言っている「GPU」

何をする部品か

AWSの説明では、GPUは、たくさんの計算を速く行うために作られた電子回路です。もとは画像を画面に出すためのもので、いまは機械学習や動画編集など、幅広く使われています。

ポイントは、AWSが書いている次の点です。描画も、機械学習も、動画編集も、「同じ種類の計算を、たくさんのデータに繰り返す」作業が多い。GPUは、その同じ計算を、たくさんの値に同時に行えます。

CPUとの違い

IBMとGoogle Cloudの説明を並べると、次のようになります。

CPU GPU
役割 パソコンやサーバー全体の管理役。いろいろな作業をこなす 重い計算を手伝う補助役
計算の進め方 少数の強い「計算の担当者（コア）」で、主に順番に処理 数千の小さなコアで、大量の計算を同時に処理
得意な仕事 手順が複雑で、1本道の作業。ふつうのWebアプリなど 同じ計算の大量の繰り返し。画像の描画、AIの計算

IBMは、GPUのコアは「数千」規模だと書いています。同時に、コアの数が多いだけで性能が上がるとは限らないとも書いています。GPUの一つひとつのコアはCPUより遅く、たくさん集めて大きな問題を速く解く、という作りです。

ここで出てきた「並列処理」とは、仕事を小さく分けて、同時に進めることです。反対に、1つずつ順番に進めるのが「逐次」処理です。

「グラフィックスカード」との違い

AWSは、ことばの区別も書いています。GPUは「処理をする部品（チップ）」で、グラフィックスカードは、その部品に、専用のメモリ（VRAM）、画面の出力端子、冷却の仕組みなどを載せた基板です。ふだん「GPUを買った」と言うときは、カードごと買うことが多いので、混ざりやすい点です。

なぜAIにGPUが向いているのか

Intelの説明では、AIの計算には、行列の掛け算やベクトル（数字を並べたもの）の演算が大量に出てきます。GPUは並列処理が得意なので、それらを一度にこなせます。Intelは、大きなニューラルネット（AIの中身の計算の仕組み）の学習は、CPUだけだと数日から数週間かかることがあり、GPUで大きく短くできる、と書いています。

Google Cloudの文書には、GPUの中に「Tensor Core」という、行列の計算に特化した部分があることも書かれています。

NVIDIAのブログは、深層学習（AIの学習方法の一つ）の初期のころに、研究者やクラウド事業者が、GPUを使った計算機がAIに向いていると気づいた、と書いています。気づいた年は書かれていません（同じ記事は、2012年にAIが新しい計算の形として現れた、と別の箇所で書いています）。

GPUが効く場面は、次の3つです（Intelの整理）。

見立てです。チャットAIに質問して答えが返ってくるのは、この「推論」にあたると思います。どの会社のどのサービスが、どの部品で計算しているかは、読んだ資料では確かめていません。

「メモリ」が大事と言われる理由

Google Cloudの文書は、AIの学習や微調整では、AIの中身（重みなど）がGPUのメモリに収まる必要がある、と書いています。

GPUのメモリは、パソコン本体のメモリとは別の、GPU専用のものです。種類として、HBM（広帯域メモリ。たくさんのデータを一度に速く運べるメモリ）やGDDRが挙がっています。容量は、Google Cloudの一覧で、古いものの8GBから、最新級の279GBまで幅があります（2026年10月16日に確認）。

また、AWSは、データがGPUの専用メモリ（VRAM）に収まっているときに性能が出やすく、パソコン本体のメモリに出し入れすると、性能が大きく下がると書いています。さらにGoogle Cloudは、700億パラメータを超える大きな言語モデルの推論では、メモリが大きいほど、少ない台数のGPUで動かせると書いています。

見立てです。「GPUが速い」だけでなく、「メモリが大きい」ことが、大きなAIを動かす条件になる、ということだと読みました。GPUを選ぶ話は、別の記事で扱っています。

「高い」「手に入りにくい」は本当か

読んだ資料から、確かめられたことと、確かめられなかったことを分けます。

書かれていたこと

書かれていなかったこと

見立てです。「並列で大量に計算できる部品を、大きなメモリと一緒に、たくさん並べて使う」のがAIのやり方なので、台数と電気代で、費用が大きくなりやすいのだと思います。ただしこれは、読んだ資料からの推測で、内訳の確認はできていません。

誤解されやすい点

「GPU＝ゲーム用の部品」ではない もとは画像のための部品ですが、AWSもGoogle Cloudも、いまはAIや科学計算にも広く使うと書いています。

「AIにはいつもGPUが要る」わけではない Intelの説明では、小さなモデル（チャットボット、音声認識、感情分析など）は、GPUなしでCPUでも動かせることがあります。小さな規模なら、GPUは過剰になりうる、とも書いています。IBMも、軽い作業ならCPUのほうが費用面で有利な場合があると書いています。

「自分のパソコンにGPUがなければAIは使えない」わけでもない AWSは、GPUをインターネット経由で借りて使う方法（クラウドのGPU）があると書いています。見立てです。サービスの側のGPUで計算して結果だけを返す形なら、手元の機械は高性能でなくても使えるはずですが、個々のサービスの作りは確かめていません。

今日からできること

  1. ニュースの「GPU」を見たら、「AIの計算に使う部品の話」と読み替える。 「GPUが足りない」は、「AIを動かす計算の設備が足りない」という意味で使われます。
  2. 自分のパソコンでAIを動かしたい人は、GPUの有無より前に「何をしたいか」を考える。 文章を作るだけなら、クラウドのサービスで足ります。手元で大きなAIを動かしたいときに、はじめてGPUとメモリの話になります。
  3. GPUの値段の話は、日付つきで読む。 価格は変わりやすいので、記事の日付を確かめます。

気をつけること

出典

更新履歴