疎なデータから視覚的概念を素早く学習するのを助けるDNNの階層構造

ジョージタウン大学医療センターで神経科学の教授を務めるMaximilian RiesenhuberとUC バークレーの博士研究員Joshua Ruleは、ディープニューラルネットワークは、事前学習を応用した手法を利用すると、人間の知能のように疎なデータから学習することができる、と主張している。

疎なデータから視覚的概念を素早く学習するのを助けるDNNの階層構造

ジョージタウン大学医療センターで神経科学の教授を務めるMaximilian RiesenhuberとUC バークレーの博士研究員Joshua Ruleは、コンピュータベースの人工知能は、新しいオブジェクトを学習するためのはるかに高速な技術を使用するようにプログラムされたときに人間の知能のように機能することができる、と主張している。

『Frontiers in Computational Neuroscience』に掲載された論文によると、Riesenhuberらは、ベンチマークのディープラーニングモデルを用いて、階層構造が学習速度を大幅に向上させるためにも活用できることを示した。具体的には、以前に学習したが広く調整された概念表現を用いて、わずか2つの正の例から視覚的概念を学習することができる、ということだ。

「これらの結果は、より効率的に学習するための技術を示唆しており、少ない例から新しい視覚的概念を学習する生物学的にもっともらしい方法を提供している」とRiesenhuberらは書いている。

2人が提案するモデルは、人工ニューラルネットワークが少数の例から新しい視覚的概念を学習するための生物学的に尤もらしい方法を提供するという。モデルは、脳がやっていることを反映していると考えられる方法で事前学習を活用することで、コンピュータに少ない例からより良い学習をさせることができる。

人間は、疎なデータから新しい視覚的概念を素早く正確に学習することができる。生後3~4ヶ月の赤ちゃんでも、シマウマを認識し、猫、馬、キリンと区別することを簡単に学ぶことができる。しかし、コンピュータは通常、同じオブジェクトが何であるかを知るために、多くの例を「見る」必要がある。

大きな変化が必要だったのは、形や色などの低レベルで中間的な情報だけを使ってオブジェクトを識別するというより標準的なアプローチではなく、視覚的なカテゴリ全体の関係を識別するソフトウェアを設計することだった、とRiesenhuberらは主張している。

脳の階層の計算能力は、以前に学習した表現を利用することで、学習を単純化できる可能性を秘めている。Riesenhuberらは事前学習で人間の脳が持つ驚異的な能力を模倣する事ができると仮定している。Riesenhuberらは、以前に学習した概念でオブジェクトを表現する人工ニューラルネットワークは、新しい視覚的な概念を有意に速く学習することを発見した。低次の視覚的特徴から高次の概念を学習するのではなく、Riesenhuberのアプローチでは、他の高レベルの概念から物体を説明している。

人間の視覚概念学習の基礎となる脳の構造は、物体認識に関わる神経回路網をベースにしている。脳の前側頭葉には、形を超えた「抽象的な」概念表現が含まれていると考えられている。視覚認識のためのこのような複雑な神経階層によって、人間は新しいタスクを学習し、重要なことに、事前学習を活用することができる。これらの概念を再利用することで、より簡単に新しい概念、そのようなシマウマが単に別の縞の馬であるという事実のような新しい意味を学ぶことができるという。

AIの進歩にもかかわらず、人間の視覚システムは、少ない例から一般化する能力、画像のバリエーションに頑健に対処する能力、シーンを理解する能力という点では、いまだに金字塔であると科学者たちは述べている。

「我々の発見は、コンピュータがより迅速かつ効率的に学習するのを助けることができる技術を示唆しているだけでなく、まだ十分に理解されていない人間の学習方法を理解することを目的とした改善された神経科学実験にもつながる可能性があります」とRiesenhuberらは結論づけている。

参考文献

Joshua S. Rule and Maximilian Riesenhuber. Leveraging Prior Concept Learning Improves Generalization From Few Examples in Computational Models of Human Object Recognition. Front. Comput. Neurosci., 2021 DOI: 10.3389/fncom.2020.586671

Photo: "The future of computer vision with the TensorFlow Object Detection API from Google. You won't have to describe any photo...." by ShashiBellamkonda is licensed under CC BY 2.0

Special thanks to supporters !

Shogo Otani, 林祐輔, 鈴木卓也, Mayumi Nakamura, Kinoco, Masatoshi Yokota, Yohei Onishi, Tomochika Hara, 秋元 善次, Satoshi Takeda, Ken Manabe, Yasuhiro Hatabe, 4383, lostworld, ogawaa1218, txpyr12, shimon8470, tokyo_h, kkawakami, nakamatchy, wslash, TS.

コーヒー代支援 / サポーター加入

Axionは吉田が2年無給で、1年が高校生アルバイトの賃金で進めている「慈善活動」です。有料購読型アプリへと成長するプランがあります。コーヒー代のご支援をお願いします。個人で投資を検討の方はTwitter(@taxiyoshida)までご連絡ください。

デジタル経済メディアAxionを支援しよう
Axionはテクノロジー×経済の最先端情報を提供する次世代メディアです。経験豊富なプロによる徹底的な調査と分析によって信頼度の高い情報を提供しています。投資家、金融業界人、スタートアップ関係者、テクノロジー企業にお勤めの方、政策立案者が主要読者。運営の持続可能性を担保するため支援を募っています。

Read more

新たなスエズ危機に直面する米海軍[英エコノミスト]

新たなスエズ危機に直面する米海軍[英エコノミスト]

世界が繁栄するためには、船が港に到着しなければならない。マラッカ海峡やパナマ運河のような狭い航路を通過するとき、船舶は最も脆弱になる。そのため、スエズ運河への唯一の南側航路である紅海で最近急増している船舶への攻撃は、世界貿易にとって重大な脅威となっている。イランに支援されたイエメンの過激派フーシ派は、表向きはパレスチナ人を支援するために、35カ国以上につながる船舶に向けて100機以上の無人機やミサイルを発射した。彼らのキャンペーンは、黒海から南シナ海まですでに危険にさらされている航行の自由の原則に対する冒涜である。アメリカとその同盟国は、中東での紛争をエスカレートさせることなく、この問題にしっかりと対処しなければならない。 世界のコンテナ輸送量の20%、海上貿易の10%、海上ガスと石油の8~10%が紅海とスエズルートを通過している。数週間の騒乱の後、世界の5大コンテナ船会社のうち4社が紅海とスエズ航路の航海を停止し、BPは石油の出荷を一時停止した。十分な供給があるため、エネルギー価格への影響は軽微である。しかし、コンテナ会社の株価は、投資家が輸送能力の縮小を予想している

By エコノミスト(英国)
新型ジェットエンジンが超音速飛行を復活させる可能性[英エコノミスト]

新型ジェットエンジンが超音速飛行を復活させる可能性[英エコノミスト]

1960年代以来、世界中のエンジニアが回転デトネーションエンジン(RDE)と呼ばれる新しいタイプのジェット機を研究してきたが、実験段階を超えることはなかった。世界最大のジェットエンジン製造会社のひとつであるジー・エアロスペースは最近、実用版を開発中であると発表した。今年初め、米国の国防高等研究計画局は、同じく大手航空宇宙グループであるRTX傘下のレイセオンに対し、ガンビットと呼ばれるRDEを開発するために2900万ドルの契約を結んだ。 両エンジンはミサイルの推進に使用され、ロケットや既存のジェットエンジンなど、現在の推進システムの航続距離や速度の限界を克服する。しかし、もし両社が実用化に成功すれば、超音速飛行を復活させる可能性も含め、RDEは航空分野でより幅広い役割を果たすことになるかもしれない。 中央フロリダ大学の先端航空宇宙エンジンの専門家であるカリーム・アーメッドは、RDEとは「火を制御された爆発に置き換える」ものだと説明する。専門用語で言えば、ジェットエンジンは酸素と燃料の燃焼に依存しており、これは科学者が消炎と呼ぶ亜音速の反応だからだ。それに比べてデトネーシ

By エコノミスト(英国)
ビッグテックと地政学がインターネットを作り変える[英エコノミスト]

ビッグテックと地政学がインターネットを作り変える[英エコノミスト]

今月初め、イギリス、エストニア、フィンランドの海軍がバルト海で合同演習を行った際、その目的は戦闘技術を磨くことではなかった。その代わり、海底のガスやデータのパイプラインを妨害行為から守るための訓練が行われた。今回の訓練は、10月に同海域の海底ケーブルが破損した事件を受けたものだ。フィンランド大統領のサウリ・ニーニストは、このいたずらの原因とされた中国船が海底にいかりを引きずった事故について、「意図的なのか、それとも極めて稚拙な技術の結果なのか」と疑問を呈した。 海底ケーブルはかつて、インターネットの退屈な配管と見なされていた。現在、アマゾン、グーグル、メタ、マイクロソフトといったデータ経済の巨人たちは、中国と米国の緊張が世界のデジタルインフラを分断する危険性をはらんでいるにもかかわらず、データの流れをよりコントロールすることを主張している。その結果、海底ケーブルは貴重な経済的・戦略的資産へと変貌を遂げようとしている。 海底データパイプは、大陸間インターネットトラフィックのほぼ99%を運んでいる。調査会社TeleGeographyによると、現在550本の海底ケーブルが活動

By エコノミスト(英国)