Tagged

ML

Machine learning (ML) is the scientific study of algorithms and statistical models that computer systems use in order to perform a specific task effectively without using explicit instructions, relying on patterns and inference instead.

スパコン会社化するテスラ
ML

スパコン会社化するテスラ

要点テスラは自律走行プロジェクト用のスパコンの全容を明らかにした。同社が主張するスパコンとAIチップの性能が正確なものであれば、今最も競争の激しい領域に電気自動車(EV)メーカーが乱入したことになる。 2019年春、テスラは映像データ処理のための「超強力なトレーニングコンピュータ」である「Dojo(道場)」というプロジェクトについて言及した。そして2020年夏、テスラのCEOであるイーロン・マスクは「テスラは、本当に膨大な量のビデオデータを処理するために、Dojoという(ニューラルネットワーク)トレーニングコンピュータを開発している。それは野獣のようなもののだ」とツイートした。 テスラのAI担当シニアディレクターであるAndrej Karpathyは、コンピュータビジョンの国際学会である「CCVPR 2021」で行った講演の中で、Dojoのクラスタについてさりげなく公開した。Karpathyはこのクラスターには720のノードがあり、それぞれにNvidiaのA100 GPU(80GBモデル)が8個ずつ搭載されており、システム全体で5,760個のA100が使用されている。さらに、10ペタバイトのNVMe(不揮発性メモリ・エクスプレス)を搭載し、1秒間に1.6テラバイトの転送速度を実現している。カーパシーは、この「非常に高速なストレージ」が「世界最速のファイルシステムの一つ」を構成していると述べている。 「これは巨大なスーパーコンピュータであり、

線虫に着想を得たデータ入力に継続的に適応する柔軟なニューラルネットワーク
ML

線虫に着想を得たデータ入力に継続的に適応する柔軟なニューラルネットワーク

MITの研究者は、トレーニング段階だけでなく、推論中にも学習する一種のニューラルネットワーク(NN)を開発した。Liquid Networkと呼ばれるこの柔軟なアルゴリズムは、基礎となる方程式を変化させ、新しいデータ入力に継続的に適応することで、現状のNNの欠点を満たすことが企図されている。

疎なデータから視覚的概念を素早く学習するのを助けるDNNの階層構造
ML

疎なデータから視覚的概念を素早く学習するのを助けるDNNの階層構造

ジョージタウン大学医療センターで神経科学の教授を務めるMaximilian RiesenhuberとUC バークレーの博士研究員Joshua Ruleは、ディープニューラルネットワークは、事前学習を応用した手法を利用すると、人間の知能のように疎なデータから学習することができる、と主張している。