NVIDIAが超強力AIスパコンで軍拡競争を激しく煽る

AIゴールドラッシュで「スコップ」を売るNVIDIAが、富岳に匹敵する超強力なAIスパコンを発表した。これは外販されるため、AI軍拡競争の熾烈さを著しく助長することを意味する。

先週の鮮烈な株価急騰のあと、29日に台湾・台北で開催された「Computex 2023」において、NVIDIA CEOのジェンスン・フアンは、新たなAI製品を発表した。

フアンは2時間以上に呼ぶキーノートスピーチでさまざまなAI製品を紹介したが、目を見張ったのは、Arm CPUとGPUを1モジュール上に統合した「NVIDIA GH200 Grace Hopper Superchip」(GH200、サムネイル画像)と、GH200を活用したスパコンであるDGX GH200である。

DGX GH200に関するフアンの説明は以下の通り。

• 類まれなの性能。 GH200は、CPUとGPUの間に大きなデータ帯域幅を提供し、特定のワークロードに対して最大1TB/秒のスループット（単位時間あたりに処理できるデータ量）を提供するとフアンは主張した。 DGX GH200は1EFLOPS(エクサフロップス)を実現。フロップスは1秒間に浮動小数点演算を何回できるかという能力を表す。これが深層学習では重要な指標となる。

• 世界1のスパコンに匹敵。最新のスパコン性能ランキングTop500では、米オークリッジ国立研究所とHPEの「Frontier」が、Linmarkベンチマークで約1.2エクサフロップスの性能を達成し、唯一のエクサスケールシステムとして知られていた。これは、2位である日本の「富嶽」のピーク性能の2倍以上。DGX GH200はAIコンピューティングにおいて、この間に割って入った。
• 相互接続によって拡張性が増した。DGX GH200はNVLinkインターコネクト技術により、256個のGH200 Grace Hopperチップと144テラバイトの共有メモリーを統合し、1つの巨大なGPUとして提示する。 NVLinkなどが大規模のGPUクラスタの形成を容易にし、システム全体のスループットを大幅に引き上げるようだ。「1基の NVIDIA H100 TensorコアGPUで最大18本のNVLink接続がサポートされ、帯域幅の合計は毎秒900ギガバイト」とNVIDIAは説明している。競合するインターコネクトの5倍の電力効率があるとされた。
• 深層学習向けにメモリも大容量化。1台のDGX A100システムに搭載されるメモリの約500倍に相当。行列の積和計算を要する​深層学習は、大容量のメモリを必要とする。NVLinkインターコネクトはもともと2020年に買収完了したイスラエルMellanoxの技術。

Google、Meta、MicrosoftなどがDGX GH200を買うことが決まっているという。

もしArmを買収していたら…

もしNVIDIAがArmを買収していたら、GH200やDGX GH200の競争優位性を保つために、Armの「Neoverse V2」というデータセンター向けCPUデザインのIPについて、競合他社に対して何らかの堀をうがっていたのではないかと憶測せざるを得ないだろう。今回は理論値ながら、AIコンピューティングにおいては、同じNeoverse IPを採用する「富岳超え」の性能を示しており、Neoverseの利用に制限を与えるだけで、富岳の頭を抑えることができる。

AI軍拡競争の当事者はもっと強力なスパコンを作ろうとしている。Metaは、今年後半にNVIDIAのGPUで構成されたAIスパコン「AI Research SuperCluster（RSC）」が完全に構築されれば、「5エクサフロップス近い、地球上で最速のAIスーパーコンピューターになる」と明らかにしている。RSCは現在、DGX A100を760台、合計6,080個のGPUを搭載し、RSCは大規模言語モデル（LLM）も3倍速く訓練できるそうだが、GPU数を1万6,000個に増やすことで、AIの学習性能を2.5倍以上高めることができると想定している。

NVIDIAは、先週の業績報告で、半導体不況のさなかにAIチップ部門が力強い収益と利益率を表現した。これに伴い株価が急騰し、資本市場では「AIブームの有力候補」と目されるようになっている。