世界はNVIDIAのGPU富者と貧者に二分された説が波紋を広げる

NVIDIAのデータセンター向けGPUの需給逼迫は深刻だ。このAI研究開発の不可欠のツールであるGPUによって、世界は富者と貧者に分断されたと主張する論評が話題を呼んでいる。

吉田拓史

2023年8月30日 — 4 min read

現在、世界的なAIチップの需要の高まりを我々は経験しているが、このブームはAIチップのサプライチェーンの制約を明らかにした。NVIDIAの高機能GPUを構成する要素技術、とその生産能力には即座に解決できない課題があり、需給逼迫は「少なくとも」来年までは解決しない様相だ、と私は先週書いた。

そのような情勢の中、調査会社SemiAnalysisのアナリストであるDylan PatelとDaniel Nishballが「AIの分野では、GPUリッチ（GPU富者）企業とGPUプア（GPU貧者）企業の間で、大きな差が生まれている」という記事を書いた。これがAI業界で様々な反響を呼んでいる。

GPU富者

GPU富者の定義は、NVIDIAのA100とH100 GPUを相当数所有している組織である。OpenAI、Google、Anthropic、Inflection、イーロン・マスクのX、Metaがこのグループを形成している。これらの企業の一部は、いくつかの中国企業とともに、2024年末までに10万個以上のGPUを確保すると予測されている。Metaは、H100 GPUの数で世界第2位になると予想されている。

ベイエリアのトップAI研究者たちは、GPUへのアクセスを自慢し始め、それが彼らの職場選びに影響を与え始めている。Metaは採用戦術としてGPUリソースを活用している。

GPU富者の王者：Google

SemiAnalysisによると、GoogleがGPU富者のトップの座に輝いた。Googleは巨大AIモデル「Gemini」の導入を計画しており、その後続バージョンのトレーニングを進めている。同社は年末までにGPT-4の計算能力を5倍上回り、翌年末までに20倍に達する可能性を目指している。インターネットの巨人であるGoogleは、「世界で最もコンピューティング資源が豊富な企業」であり、「無敵に効率的なアーキテクチャ」を備えている、とDylan PatelとDaniel Nishballは書いている。

「Googleは年末までにGPT-4の事前トレーニングに費やされた浮動小数点数演算（FLOPS）を5倍も上回るペースでトレーニングを行っている」と二人は書いている。「現在のインフラ整備を考えれば、来年末までに（GPT-４の）20倍への道筋は明らかだ」

ただし、Dylan PatelとDaniel Nishballは、検索事業とのカニバリズムについては予測を留保した。「Googleが、創造性や既存のビジネスモデルを中和することなく、これらのモデルを公にする気概があるかどうかは別の議論になる」

GPU貧者

一方、新興企業やオープンソースの研究者はGPUの不足に直面している。この制限のため、これらの研究者は、あまり効果的でないテクニックやプラクティスに耽ることが多かったり、モデルの微調整に時間を浪費したり、実質よりもスタイルを重視するモデルに集中したりする、とアナリストたちは書いている。このような新興企業のほとんどは、「オープンソース」であるMetaのLlamaを使っているという。