線虫に着想を得たデータ入力に継続的に適応する柔軟なニューラルネットワーク

MITの研究者は、トレーニング段階だけでなく、推論中にも学習する一種のニューラルネットワーク(NN)を開発した。Liquid Networkと呼ばれるこの柔軟なアルゴリズムは、基礎となる方程式を変化させ、新しいデータ入力に継続的に適応することで、現状のNNの欠点を満たすことが企図されている。

線虫に着想を得たデータ入力に継続的に適応する柔軟なニューラルネットワーク

MITの研究者は、トレーニング段階だけでなく、推論中にも学習する一種のニューラルネットワーク(NN)を開発した。Liquid Networkと呼ばれるこの柔軟なアルゴリズムは、基礎となる方程式を変化させ、新しいデータ入力に継続的に適応することで、現状のNNの欠点を満たすことが企図されている。この進歩は、医療診断や自律運転など、時間の経過とともに変化するデータストリームに基づいた意思決定を支援する可能性がある。この研究は、2月初旬に開催されたAAAI(アメリカ人工知能学会)で発表された。

MITコンピュータ科学・人工知能研究所(CSAIL)のポスドクであるRamin Hasaniらが提案する、新しい種類の時間連続リカレントニューラルネットワークモデルは、医療、産業、ビジネスの設定でユビキタスに使用されている時系列データをモデリングするための有効なアルゴリズムになると、Hasaniらは主張している。この常微分方程式(ODE, 一変数関数とその導関数からなる方程式)によって決定される連続時間の隠れた状態を持つリカレントニューラルネットワークは、学習システムの力学を暗黙の非線形性によって宣言するのではなく、非線形相互リンクゲートを介して変調された線形一次力学系のネットワークを構築する。

結果として得られるモデルは、その隠れた状態に結合された変化する(すなわち、液体 liquid の)時定数を持つ力学系を表現し、その出力は数値微分方程式ソルバーによって計算される。これらのニューラルネットワークは、安定した束縛された挙動を持ち、ニューラル常微分方程式のファミリーの中で優れた表現力を持ち、時系列予測タスクでの性能向上をもたらす、と主張している、Hasaniらは主張している。

ニューラルネットワークは、一連の「訓練」例を分析することでパターンを認識するアルゴリズムである。ニューラルネットワークは、しばしば脳の処理経路を模倣していると言われているが、HasaniはLiquid Networkを作る上で微細な線虫のカエノラブディティス・エレガンス(アイキャッチ写真)からインスピレーションを得たという。この線虫は神経系に302個のニューロンしか持っていない。

Hasaniは、エノラブディティス・エレガンスのニューロンが電気的インパルスを介してどのように活性化し、互いに通信するかに注意を払って神経回路網をコード化した。彼がニューラルネットワークを構築するために使用した方程式では、入れ子になった微分方程式のセットの結果に基づいて、時間の経過とともにパラメータを変化させることができるようにした。

この柔軟性が鍵となる。ほとんどのニューラルネットワークの動作は、訓練段階の後に固定されているため、入ってくるデータストリームの変化に適応するのが苦手だ。Hasaniによると、彼の「液体」ネットワークは流動性があるため、大雨で自動運転車のカメラの視野が見えなくなった場合など、予期せぬデータやノイズの多いデータに対してより強い耐性を持っているという。

ネットワークの柔軟性にはもう一つの利点がある。それは「より解釈しやすい」ということだ。Hasaniによると、彼の液体ネットワークは、他のニューラルネットワークにありがちな不明瞭さを回避しているという。ニューロンの表現を変えるだけで、微分方程式で行ったように、他の方法では探索できない複雑さを探索することができる。表現力の高いニューロンの数が少ないおかげで、ネットワークの意思決定の「ブラックボックス」を覗き込んで、なぜネットワークが特定の特徴を持つようになったのかを診断することが容易になった。

Hasaniのネットワークは、さまざまなテストで優れた性能を発揮した。大気化学から交通パターンに至るまでのデータセットにおいて、将来の値を正確に予測するという点では、他の最先端の時系列アルゴリズムを数%ポイント上回っていた。「本研究では、線形ODEニューロンと特殊な非線形重み設定を組み合わせて得られる新しいクラスの時間連続ニューラルネットワークモデルの使用を検討した。このモデルは、任意の変数と固定ステップのODEソルバーで効果的に実装でき、時間を通じたバックプロパゲーションによって学習できることを示した。我々は、標準的なディープラーニングモデルや最新のディープラーニングモデルと比較して、拘束された安定したダイナミクス、優れた表現力、教師付き学習時系列予測タスクでの上位性能を実証した」とHasaniらは書いている。

Hasaniは、システムを改良し続け、産業用アプリケーションに対応できるようにすることを計画している。課題は、これをどうやって拡張するかことだ。この種のネットワークは、将来の知能システムの重要な要素になるかもしれない。

Photo: Image obtained with an optical microscope of two C. elegans stained to detect lipids (in black) during the study, via Neurocience Institute UAB

参考文献

Ramin Hasani et al. Liquid Time-constant Networks. [v4] Mon, 14 Dec 2020 22:23:52 UTC (5,852 KB).  arXiv:2006.04439 [cs.LG]

Daniel Ackerman. “Liquid” machine-learning system adapts to changing conditions. MIT News. January 28, 2021.

Special Thanks to Supportes.

Shogo Otani, 林祐輔, 鈴木卓也, Mayumi Nakamura, Kinoco, Masatoshi Yokota, Yohei Onishi, Tomochika Hara, 秋元 善次, Satoshi Takeda, Ken Manabe, Yasuhiro Hatabe, 4383, lostworld, ogawaa1218, txpyr12, shimon8470, tokyo_h, kkawakami, nakamatchy, wslash, TS, ikebukurou, 太郎, bantou.

700円/月のサポーター

Axionは吉田が2年無給で、1年が高校生アルバイトの賃金で進めている「慈善活動」です。有料購読型アプリへと成長するプランがあります。コーヒー代のご支援をお願いします。個人で投資を検討の方はTwitter(@taxiyoshida)までご連絡ください。

デジタル経済メディアAxionを支援しよう
Axionはテクノロジー×経済の最先端情報を提供する次世代メディアです。経験豊富なプロによる徹底的な調査と分析によって信頼度の高い情報を提供しています。投資家、金融業界人、スタートアップ関係者、テクノロジー企業にお勤めの方、政策立案者が主要読者。運営の持続可能性を担保するため支援を募っています。
Takushi Yoshida is creating writing/journalism | Patreon
Patreon is a membership platform that makes it easy for artists and creators to get paid. Join over 200,000 creators earning salaries from over 6 million monthly patrons.

投げ銭

投げ銭はこちらから。金額を入力してお好きな額をサポートしてください。

https://paypal.me/axionyoshi?locale.x=ja_JP

Read more

新たなスエズ危機に直面する米海軍[英エコノミスト]

新たなスエズ危機に直面する米海軍[英エコノミスト]

世界が繁栄するためには、船が港に到着しなければならない。マラッカ海峡やパナマ運河のような狭い航路を通過するとき、船舶は最も脆弱になる。そのため、スエズ運河への唯一の南側航路である紅海で最近急増している船舶への攻撃は、世界貿易にとって重大な脅威となっている。イランに支援されたイエメンの過激派フーシ派は、表向きはパレスチナ人を支援するために、35カ国以上につながる船舶に向けて100機以上の無人機やミサイルを発射した。彼らのキャンペーンは、黒海から南シナ海まですでに危険にさらされている航行の自由の原則に対する冒涜である。アメリカとその同盟国は、中東での紛争をエスカレートさせることなく、この問題にしっかりと対処しなければならない。 世界のコンテナ輸送量の20%、海上貿易の10%、海上ガスと石油の8~10%が紅海とスエズルートを通過している。数週間の騒乱の後、世界の5大コンテナ船会社のうち4社が紅海とスエズ航路の航海を停止し、BPは石油の出荷を一時停止した。十分な供給があるため、エネルギー価格への影響は軽微である。しかし、コンテナ会社の株価は、投資家が輸送能力の縮小を予想している

By エコノミスト(英国)
新型ジェットエンジンが超音速飛行を復活させる可能性[英エコノミスト]

新型ジェットエンジンが超音速飛行を復活させる可能性[英エコノミスト]

1960年代以来、世界中のエンジニアが回転デトネーションエンジン(RDE)と呼ばれる新しいタイプのジェット機を研究してきたが、実験段階を超えることはなかった。世界最大のジェットエンジン製造会社のひとつであるジー・エアロスペースは最近、実用版を開発中であると発表した。今年初め、米国の国防高等研究計画局は、同じく大手航空宇宙グループであるRTX傘下のレイセオンに対し、ガンビットと呼ばれるRDEを開発するために2900万ドルの契約を結んだ。 両エンジンはミサイルの推進に使用され、ロケットや既存のジェットエンジンなど、現在の推進システムの航続距離や速度の限界を克服する。しかし、もし両社が実用化に成功すれば、超音速飛行を復活させる可能性も含め、RDEは航空分野でより幅広い役割を果たすことになるかもしれない。 中央フロリダ大学の先端航空宇宙エンジンの専門家であるカリーム・アーメッドは、RDEとは「火を制御された爆発に置き換える」ものだと説明する。専門用語で言えば、ジェットエンジンは酸素と燃料の燃焼に依存しており、これは科学者が消炎と呼ぶ亜音速の反応だからだ。それに比べてデトネーシ

By エコノミスト(英国)
ビッグテックと地政学がインターネットを作り変える[英エコノミスト]

ビッグテックと地政学がインターネットを作り変える[英エコノミスト]

今月初め、イギリス、エストニア、フィンランドの海軍がバルト海で合同演習を行った際、その目的は戦闘技術を磨くことではなかった。その代わり、海底のガスやデータのパイプラインを妨害行為から守るための訓練が行われた。今回の訓練は、10月に同海域の海底ケーブルが破損した事件を受けたものだ。フィンランド大統領のサウリ・ニーニストは、このいたずらの原因とされた中国船が海底にいかりを引きずった事故について、「意図的なのか、それとも極めて稚拙な技術の結果なのか」と疑問を呈した。 海底ケーブルはかつて、インターネットの退屈な配管と見なされていた。現在、アマゾン、グーグル、メタ、マイクロソフトといったデータ経済の巨人たちは、中国と米国の緊張が世界のデジタルインフラを分断する危険性をはらんでいるにもかかわらず、データの流れをよりコントロールすることを主張している。その結果、海底ケーブルは貴重な経済的・戦略的資産へと変貌を遂げようとしている。 海底データパイプは、大陸間インターネットトラフィックのほぼ99%を運んでいる。調査会社TeleGeographyによると、現在550本の海底ケーブルが活動

By エコノミスト(英国)