この項目で混ざったもの
ハード側GTX 580を2枚並べて学習を分担ソフト側GPU向けの畳み込み計算を自作して公開
2012年のNeurIPS（機械学習の国際会議）で、トロント大学のアレックス・クリジェフスキー、イリヤ・サツケヴァー、ジェフリー・ヒントンの3氏が論文を発表しました。ImageNetという画像データのうち約120万枚を使い、6000万個のパラメータ（調整される数値）と65万個のニューロンを持つ畳み込みニューラルネットワークを、「GTX 580 3GB」2枚で5〜6日かけて学習させたと書かれています。2012年の画像認識コンテストILSVRCでは、上位5候補に正解が入らない割合が15.3%で、2位の26.2%を下回りました。
混ざった点は二つあります。ソフト側で、著者たちは2次元の畳み込み（画像に小さなフィルターを当てて特徴を拾う計算）をGPU向けに高度に最適化して実装し、公開しました。ハード側では、GPU 1枚のメモリが3GBで、学習できるネットワークの大きさがその容量に制限されます。そこで、ネットワークの半分ずつを2枚のGPUに置き、特定の層でだけGPU同士がやりとりする形にしました。論文は、この方法で誤差が、各畳み込み層のフィルター数を半分にしたネットワークを1枚で動かす場合より、上位1候補で1.7%、上位5候補で1.2%減ったと述べています。
なぜ2枚にしたかについて、論文は、120万の例は1枚のGPUには大きすぎるネットワークを学習させるのに十分であり、1枚のメモリがその大きさを制限するためと説明しています。論文は、ネットワークの大きさは主に今のGPUのメモリ量と、学習にかけてよい時間で決まる、とも述べています。また、結果は「より速いGPUと大きなデータが使えるようになれば、さらに良くなる」と述べています。
NVIDIAは会社年表の2012年の項目に、この成果を「現代のAIの時代の火付け役」と自社で説明しており、公式ブログも、2011年までにAI研究者がNVIDIAのGPUに目をつけていたと書いています。次の項目では、NVIDIAがこの使われ方を前提に、行列計算の回路をGPUに加えます。
- GPU
- NVIDIA GTX 580（3GB）を2枚
- 学習にかかった時間
- 5〜6日
- データとモデル
- 約120万枚の画像／6000万パラメータ／65万ニューロン
- ILSVRC-2012 上位5候補の誤り率
- 15.3%（2位は26.2%）
確認できていない点
- 論文の発表月日（会議の日程は確認していない）
- GPU 2枚にした判断以外の、研究者側の詳しい事情
出典
- ImageNet Classification with Deep Convolutional Neural Networks（Krizhevsky, Sutskever, Hinton, NeurIPS 2012 原著論文）
- Our History: Innovations Over the Years（NVIDIA）
- Game-Changer: How the World's First GPU Leveled Up Gaming and Ignited the AI Era（NVIDIA公式ブログ）
2026年10月18日に、上の出典（会社・研究機関の公式の資料と原著論文）を読んで確かめました。製品の仕様や提供状況は変わることがあります。この記事は、製品を試した記録ではありません。