スパコン会社化するテスラ
要点
テスラは自律走行プロジェクト用のスパコンの全容を明らかにした。同社が主張するスパコンとAIチップの性能が正確なものであれば、今最も競争の激しい領域に電気自動車（EV）メーカーが乱入したことになる。
2019年春、テスラは映像データ処理のための「超強力なトレーニングコンピュータ」である「Dojo（道場）」というプロジェクトについて言及した。そして2020年夏、テスラのCEOであるイーロン・マスクは「テスラは、本当に膨大な量のビデオデータを処理するために、Dojoという（ニューラルネットワーク）トレーニングコンピュータを開発している。それは野獣のようなもののだ」とツイートした。
テスラのAI担当シニアディレクターであるAndrej Karpathyは、コンピュータビジョンの国際学会である「CCVPR 2021」で行った講演の中で、Dojoのクラスタについてさりげなく公開した。Karpathyはこのクラスターには720のノードがあり、それぞれにNvidiaのA100 GPU（80GBモデル）が8個ずつ搭載されており、システム全体で5,760個のA100が使用されている。さらに、10ペタバイトのNVMe（不揮発性メモリ・エクスプレス）を搭載し、1秒間に1.6テラバイトの転送速度を実現している。カーパシーは、この「非常に高速なストレージ」が「世界最速のファイルシステムの一つ」を構成していると述べている。
「これは巨大なスーパーコンピュータであり、フロップス（演算処理能力）という点では、世界のスーパーコンピュータの中でおよそ5位に位置するだろう」と語っている。
このクラスターは、テスラが熱狂的に推進している次世代の車両自動化、すなわち完全自動運転（FSD）車両のために導入されている。
吉田拓史
8月19日に行われたTesla AI Dayでは、テスラはDojoの構成とその重要な構成要素である自社設計のD1チップをついに披露することになった。Karpathyが紹介したNvidiaのA100 GPUで構成されたスパコンは全世代のモデルであり、今回発表されたのは、テスラの自前の技術が詰まったものになっている。
オートパイロットハードウェア担当シニアディレクターのGanesh Venkataramananによると、D1チップは、BF16またはCFP8で362TFlops、FP32で22.6TFlopsに達する。総面積645平方mm、トランジスタ数500億個。各チップのTDP（CPUの発熱量と消費電力の目安）は400Wと恐ろしいほど高い。これは、電力密度が、ライバルであるNvidia A100 GPUのほとんどの構成よりも高いことを意味する。興味深いことに、テスラは1平方mmあたり7,750万個の有効トランジスター密度を達成している。これは、他のあらゆる高性能チップよりも高く、モバイルチップやApple M1（トランジスタ数160億個）にも負けていない。
Venkataramananによると、テスラはこのようなチップ群をトレーニングタイル（㊦写真）に載せて、9ペタフロップス（PFLOPS）の演算能力を提供している。120枚のタイルを数台のサーバーキャビネットにまとめて配置すると、1エクサフロップス（exaFLOPS）以上に相当するという。
このタイルは、Nvidia、Graphcore、Cerebras、Groq、Tenstorrent、SambaNova、その他のAIトレーニングを目的とした新興企業のものを、単位当たりのパフォーマンスとスケールアップ能力ではるかに上回っている可能性がある。
テスラは、D1 Dojoチップが、GPUレベルのコンピュート、CPUレベルの柔軟性、ネットワークスイッチIOを備えていると主張している。この種のネットワークで最も問題となるのは、帯域幅の拡大と低レイテンシーの維持だ。テスラは、大規模なネットワークに対応するために、特に後者の2点を重視した、とVenkataramananは説明している。
彼はD1のアドバンテージとしてチップ間の帯域幅（off-chip bandwidth）が格段に高い点を強調した。テスラは、高度なパッケージングにより、現在知られている最高の外部帯域幅のチップの2倍にすることができたと彼は主張した。テスラは独自の高帯域コネクタを開発し、これらのタイル間のチップ間の帯域幅を維持しているそうだ。
Dojoは、2×3のタイル構成にスケールアップされており、1つのサーバーキャビネットにはこの構成が2つ載せられるという。キャビネットごとに合計108PFlopsとなる計算だ。
この構成は、キャビネットレベルを超えてさらにスケールアップし続けているとVenkataramananは説明した。この「ExaPOD」と呼ばれるスパコンでは、10キャビネット、1.1exaFLOPSにまでスケールアップする予定だ。
📨ニュースレター登録
平日朝 6 時発行のAxion Newsletterは、テックジャーナリストの吉田拓史（@taxiyoshida）が、最新のトレンドを調べて解説するニュースレター。同様の趣旨のポッドキャストもあります。
Axionニュースレターを購読しよう
「購読する」を押し、確認メールからサインインで登録完了
株式会社アクシオンテクノロジーズへの出資
一口50万円の秋のラウンドに向けて事前登録を募っております。事前登録者には優先的に投資ラウンドの案内を差し上げます。登録は以下のからメールアドレスだけの記入で済みます。登録には義務は一切ともないません。すでに100人超に登録を頂いています。
クリエイターをサポート
運営者の吉田は2年間無給、現在も月8万円の報酬のみでAxionを運営しています。
- 右上の「Subscribe」のボタンからMonthly 10ドルかYearly 100ドルご支援できます。大口支援の場合はこちらから。
- 300円の投げ銭 👉 https://buy.stripe.com/7sI4grbMg9kf2t25kl
- 毎月700円〜の支援👇
Special thanks to supporters !
Shogo Otani, 林祐輔, 鈴木卓也, Kinoco, Masatoshi Yokota, Tomochika Hara, 秋元 善次, Satoshi Takeda, Ken Manabe, Yasuhiro Hatabe, 4383, lostworld, ogawaa1218, txpyr12, shimon8470, tokyo_h, kkawakami, nakamatchy, wslash, TS, ikebukurou 黒田太郎, bantou, shota0404, Sarah_investing, Sotaro Kimura, TAMAKI Yoshihito, kanikanaa, La2019, magnettyy, kttshnd, satoshihirose, Tale of orca, TAKEKATA.
