public

機械学習のためのGPUが辿った経緯

NVIDIAは機械学習用のチップを事実上独占。しかし、2018年頃に機械学習ブームが成熟を迎えると、データセンターにおけるGPU需要は一服した。

Latest Post べリングキャット: 公開情報からすべてを暴き出す新しいジャーナリズム by Takushi Yoshida public

GPUを用いて汎用演算をする「GPGPU」が生まれたのが2007年。驚くべき副産物があった。それは機械学習である。GPUを「CNN」(畳み込みニューラルネットワーク)の並列計算に利用する。2000年代後半にジェフ・ヒントンの「バック・プロパゲーション」と「確率的勾配降下法」、ヤン・ルカンのCNNなどのゲームチェンジングな発見が現れ、二度の冬にさらされた”人工知能”に生命の息吹が注がれた。

スタンフォード大学のアンドリュー・ウン氏とNVIDIAはGPUを機械学習に応用する研究をCUDAを投入した2007年頃から開始した。ウン氏はモデルが猫を識別する「Googleの猫」でGPUによるCNNの学習の著しい高速化を実証した。画像認識の競技会である「 ImageNet LSVRC」の2012年大会では、ニューラルネットワーク「AlexNet」が従来型の機械学習モデルに対し大差をつけた。AlexNetの学習にはメモリ3GBのNVIDIA GTX 580 GPUが用いられた。

この後、機械学習への熱狂が高まり、GPUの需要は高まるばかりだった。その熱狂を物語るエピソードがある。2016年12月に開催された機械学習関連のトップカンファレンス「Neural Information Processing Systems(NIPS)」に向けた論文の締め切りは5月19日だったが、これに合わせ世界中の研究チームがクラウドを利用したため、Google CloudとMicrosoft AzureのGPU資源が一時的に枯渇した。

機械学習領域での驚異的な成功はNVIDIAの株価を急激に引き上げた。NVIDIAは機械学習用のチップを事実上独占し、これが最大の利用者であるテックジャイアントの危機感を煽った。

しかし、2018年頃に機械学習ブームが成熟を迎えると、データセンターにおけるGPU需要は一服。GoogleはCNN内で行われる行列積(行列の掛け算)を速く処理するためのTPU(Tensor Processing Unit)のクラウド利用をリリース。深層学習フレームワーク「Tensor Flow」とともにハードウェアとソフトウェアを貫通した自らの生態系を築いている。

TPUは「ドメイン固有アーキテクチャ(Domain Specific Architecture = DSAs)」と呼ばれるものだ。これについては次回説明したい。

Image via Nvidia

Takushi Yoshida

Published a year ago