スパコン会社化するテスラ

スパコン会社化するテスラ
D1チップは、BF16またはCFP8(ベンチマークの一種)で362TFlops、FP32(ベンチマークの一種)で22.6TFlopsに達する。総面積645平方mm、トランジスタ数500億個。Source: Tesla.

要点

テスラは自律走行プロジェクト用のスパコンの全容を明らかにした。同社が主張するスパコンとAIチップの性能が正確なものであれば、今最も競争の激しい領域に電気自動車(EV)メーカーが乱入したことになる。


2019年春、テスラは映像データ処理のための「超強力なトレーニングコンピュータ」である「Dojo(道場)」というプロジェクトについて言及した。そして2020年夏、テスラのCEOであるイーロン・マスクは「テスラは、本当に膨大な量のビデオデータを処理するために、Dojoという(ニューラルネットワーク)トレーニングコンピュータを開発している。それは野獣のようなもののだ」とツイートした。

テスラのAI担当シニアディレクターであるAndrej Karpathyは、コンピュータビジョンの国際学会である「CCVPR 2021」で行った講演の中で、Dojoのクラスタについてさりげなく公開した。Karpathyはこのクラスターには720のノードがあり、それぞれにNvidiaのA100 GPU(80GBモデル)が8個ずつ搭載されており、システム全体で5,760個のA100が使用されている。さらに、10ペタバイトのNVMe(不揮発性メモリ・エクスプレス)を搭載し、1秒間に1.6テラバイトの転送速度を実現している。カーパシーは、この「非常に高速なストレージ」が「世界最速のファイルシステムの一つ」を構成していると述べている。

「これは巨大なスーパーコンピュータであり、フロップス(演算処理能力)という点では、世界のスーパーコンピュータの中でおよそ5位に位置するだろう」と語っている。

ニューラルネットワークトレーニングコンピュータ「Dojo」の前身モデル。1.8 EFLOPS(エクサフロップス、浮動小数点演算を1秒間に100京回行う)で、世界で5番目に強力なスーパーコンピュータに相当するという。via CVPR.
ニューラルネットワークトレーニングコンピュータ「Dojo」の前身モデル。1.8 EFLOPS(エクサフロップス、浮動小数点演算を1秒間に100京回行う)で、世界で5番目に強力なスーパーコンピュータに相当するという。via CVPR.

このクラスターは、テスラが熱狂的に推進している次世代の車両自動化、すなわち完全自動運転(FSD)車両のために導入されている。

テスラの自律走行車はビジョンのみアプローチを継続するか?
LiDARはマスクが言うとおり松葉杖なのだろうか

8月19日に行われたTesla AI Dayでは、テスラはDojoの構成とその重要な構成要素である自社設計のD1チップをついに披露することになった。Karpathyが紹介したNvidiaのA100 GPUで構成されたスパコンは全世代のモデルであり、今回発表されたのは、テスラの自前の技術が詰まったものになっている。

オートパイロットハードウェア担当シニアディレクターのGanesh Venkataramananによると、D1チップは、BF16またはCFP8で362TFlops、FP32で22.6TFlopsに達する。総面積645平方mm、トランジスタ数500億個。各チップのTDP(CPUの発熱量と消費電力の目安)は400Wと恐ろしいほど高い。これは、電力密度が、ライバルであるNvidia A100 GPUのほとんどの構成よりも高いことを意味する。興味深いことに、テスラは1平方mmあたり7,750万個の有効トランジスター密度を達成している。これは、他のあらゆる高性能チップよりも高く、モバイルチップやApple M1(トランジスタ数160億個)にも負けていない。

Venkataramananによると、テスラはこのようなチップ群をトレーニングタイル(㊦写真)に載せて、9ペタフロップス(PFLOPS)の演算能力を提供している。120枚のタイルを数台のサーバーキャビネットにまとめて配置すると、1エクサフロップス(exaFLOPS)以上に相当するという。

364コアのD1チップを25個搭載し、9PFLOPSの計算能力を持つモジュール. via Tesla.
364コアのD1チップを25個搭載し、9PFLOPSの計算能力を持つモジュール. via Tesla.

このタイルは、Nvidia、Graphcore、Cerebras、Groq、Tenstorrent、SambaNova、その他のAIトレーニングを目的とした新興企業のものを、単位当たりのパフォーマンスとスケールアップ能力ではるかに上回っている可能性がある。

トレーニングタイルの構成。タイル全体では15KWの電力を消費している。via Tesla.
トレーニングタイルの構成。タイル全体では15KWの電力を消費している。via Tesla.

テスラは、D1 Dojoチップが、GPUレベルのコンピュート、CPUレベルの柔軟性、ネットワークスイッチIOを備えていると主張している。この種のネットワークで最も問題となるのは、帯域幅の拡大と低レイテンシーの維持だ。テスラは、大規模なネットワークに対応するために、特に後者の2点を重視した、とVenkataramananは説明している。

彼はD1のアドバンテージとしてチップ間の帯域幅(off-chip bandwidth)が格段に高い点を強調した。テスラは、高度なパッケージングにより、現在知られている最高の外部帯域幅のチップの2倍にすることができたと彼は主張した。テスラは独自の高帯域コネクタを開発し、これらのタイル間のチップ間の帯域幅を維持しているそうだ。

Dojoは、2×3のタイル構成にスケールアップされており、1つのサーバーキャビネットにはこの構成が2つ載せられるという。キャビネットごとに合計108PFlopsとなる計算だ。

2×3のタイル構成 via Tesla.
2×3のタイル構成 via Tesla.

この構成は、キャビネットレベルを超えてさらにスケールアップし続けているとVenkataramananは説明した。この「ExaPOD」と呼ばれるスパコンでは、10キャビネット、1.1exaFLOPSにまでスケールアップする予定だ。

ExaPOD via Tesla.
ExaPOD via Tesla.

📨ニュースレター登録

平日朝 6 時発行のAxion Newsletterは、テックジャーナリストの吉田拓史(@taxiyoshida)が、最新のトレンドを調べて解説するニュースレター。同様の趣旨のポッドキャストもあります。

株式会社アクシオンテクノロジーズへの出資

一口50万円の秋のラウンドに向けて事前登録を募っております。事前登録者には優先的に投資ラウンドの案内を差し上げます。登録は以下のからメールアドレスだけの記入で済みます。登録には義務は一切ともないません。すでに100人超に登録を頂いています。

【2021年秋】(株)アクシオンテクノロジーズ個人投資家ラウンド事前登録
登録を頂いた方には優先して投資ラウンドのご案内を行います。

クリエイターをサポート

運営者の吉田は2年間無給、現在も月8万円の報酬のみでAxionを運営しています。

デジタル経済メディアAxionを支援しよう
Axionはテクノロジー×経済の最先端情報を提供する次世代メディアです。経験豊富なプロによる徹底的な調査と分析によって信頼度の高い情報を提供しています。投資家、金融業界人、スタートアップ関係者、テクノロジー企業にお勤めの方、政策立案者が主要読者。運営の持続可能性を担保するため支援を募っています。

Special thanks to supporters !

Shogo Otani, 林祐輔, 鈴木卓也, Kinoco, Masatoshi Yokota,  Tomochika Hara, 秋元 善次, Satoshi Takeda, Ken Manabe, Yasuhiro Hatabe, 4383, lostworld, ogawaa1218, txpyr12, shimon8470, tokyo_h, kkawakami, nakamatchy, wslash, TS, ikebukurou 黒田太郎, bantou, shota0404, Sarah_investing, Sotaro Kimura, TAMAKI Yoshihito, kanikanaa, La2019, magnettyy, kttshnd, satoshihirose, Tale of orca, TAKEKATA.