ロボットの空間知覚は可能か?

MIT航空宇宙学助教授ルカ・カルローンらは人間が世界を知覚し、ナビゲートする方法をモデルにした、ロボットのための空間知覚の表現を開発した。ロボットは、人、部屋、壁、その他の構造物などのオブジェクトとその意味的ラベルを付け、ロボットがその環境で見ているであろうものを含む周囲の3Dマップを素早く生成する。

ロボットの空間知覚は可能か?

要点

MIT航空宇宙学助教授ルカ・カルローンらは人間が世界を知覚し、ナビゲートする方法をモデルにした、ロボットのための空間知覚の表現を開発した。ロボットは、人、部屋、壁、その他の構造物などのオブジェクトとその意味的ラベルを付け、ロボットがその環境で見ているであろうものを含む周囲の3Dマップを素早く生成する。

ロボットのための「空間知覚」

家の周りでちょっとした手助けをしてくれるとありがたいと思わないだろうか。マサチューセッツ工科大学(MIT)のエンジニアは「キッチンに行ってコーヒーカップを取ってきて」などの高レベルの指令に従うことができる、ホームヘルパーのようなロボットを想定している。そのような高度なタスクを実行するためには、人間と同じように物理的な環境を認識できるロボットが必要になると研究者は考えている。

MIT航空宇宙学助教授ルカ・カルローン(Luca Carlone)と彼の学生たちは、人間が世界を知覚し、ナビゲートする方法をモデルにした、「ロボットのための空間知覚」の表現を開発した。この新しいモデルは、彼らが「3D Dynamic Scene Graphs」と呼んでいるもので、ロボットは、人、部屋、壁、その他の構造物などのオブジェクトとその意味的ラベル(例えば、椅子とテーブルの違いなど)付けをし、ロボットがその環境で見ているであろうものを含む、周囲の3Dマップを素早く生成することができる。

また、このモデルでは、ロボットは3Dマップから関連情報を抽出し、オブジェクトや部屋の位置、またはパス内の人の動きを照会することができる。このように環境を圧縮して表現することで、ロボットは迅速に意思決定を行い、進路を計画することができるので便利だ。

これは、私たちが人間として行っていることとあまりかけ離れたものではない。自宅から職場までの経路を計画する必要がある場合、必要な位置をすべて計画することはない。通りや経由地について先に考えておくだけで、より早くルートを計画するのに役立つ。

カルローンによると、この新しいタイプの環境のメンタルモデルを採用したロボットは、家事のヘルパー以外にも、工場の現場で人と並んで作業したり、被災者のために災害現場を探索したりするような、他の高レベルの仕事にも適しているかもしれないという。

3Dマッピングと意味論的セグメンテーション

現在、ロボットのビジョンとナビゲーションは主に2つのルートで進歩している。1つは、ロボットがリアルタイムで探索する際に環境を3次元で再構築することを可能にする3Dマッピング、もう1つは、ロボットがその環境の特徴を、車と自転車のような意味的なオブジェクトとして分類するのを助けるセマンティックセグメンテーションである。

カルローンと論文の主著者でMIT大学院生のAntoni Rosinolの空間知覚の新しいモデルは、リアルタイムで環境の3Dマップを生成し、その3Dマップ内のオブジェクト、人(オブジェクトとは逆に動的である)、構造物をラベル付けした初めてのモデルである。

論文のなかで言及されている「キメラ(Kimera)」は、神話上の生き物のように、2つの性質を具有したものだ。それは以前、Rosinolが開発したオープンソースのライブラリで、環境の3D幾何学的モデルを同時に構築すると同時に、物体が例えば椅子と机のどちらであるかをエンコードするためのものである。ロボットのカメラからの画像のストリームや、車載センサーからの慣性計測を取り込むことで、ロボットやカメラの軌跡を推定し、シーンを3Dメッシュとして再構築し、すべてリアルタイムで動作する。

Kimeraは、リアルタイムメトリックセマンティックSLAMのためのオープンソースのC++ライブラリ.Kimera は,(a) IMU レートでの視覚的慣性状態推定と,グローバルに一貫した外れ値のない軌道推定を提供し,(b) 高速な障害物回避に使用できるシーンの低レイテンシのローカルメッシュを計算し,(c) セマンティックにアノテーションされたグローバルな 3D メッシュを構築し,(d) 基底真理モデルを正確に反映します.Source: Kimera: an Open-Source Library for Real-Time Metric-Semantic Localization and Mapping.

意味的な3Dメッシュを生成するために、キメラは何百万もの実世界の画像で訓練された既存のニューラルネットワークを使用して各ピクセルのラベルを予測し、リアルタイムレンダリングのためのコンピュータグラフィックスで一般的に使用されるレイキャスティングとして知られる技術を使用して、これらのラベルを3Dに投影する。その結果、ロボットの環境のマップは、密な3次元メッシュに似ており、各顔は環境内のオブジェクト、構造物、および人の一部として色分けされているという。

ロボットが風景のレイヤー化を通じて「見る」

ロボットが環境をナビゲートするためにこのメッシュだけに頼っていたとしたら、それは計算量が多く、時間のかかる作業になるだろう。そこで研究者たちは、キメラの初期の高密度な3Dセマンティックメッシュから3Dダイナミックな「シーングラフ」を構築するアルゴリズムを開発した。

シーングラフは、複雑なシーンを操作してレンダリングする一般的なコンピュータグラフィックスモデルであり、一般的にビデオゲームエンジンで3D環境を表現するために使用されている。

3Dダイナミックシーングラフの場合、関連するアルゴリズムは、キメラの詳細な3Dセマンティックメッシュを抽象化したり、分解したりして、ロボットが特定のレイヤー(レンズ)を通してシーン(風景)を「見る」ことができるように、異なるセマンティックレイヤーに分割する。

レイヤーは、オブジェクトや人物から、壁や天井などのオープンスペースや構造物、部屋、廊下、ホール、そして最終的には建物全体へと階層的に進行していく。このレイヤー化された表現により、ロボットが元の3Dメッシュ内にある何十億もの点や顔を理解しなくても済むという。

また、物体と人のレイヤーの中で、研究者たちは、環境の中の人の動きや形をリアルタイムで追跡するアルゴリズムを開発することもできた。

これは、自動運転車、捜索救助、共同製造、家庭用ロボットなど、多くのアプリケーションに影響を与える可能性がある。もう1つの領域は、仮想・拡張現実(AR)だ。このアルゴリズムを実行するARゴーグルを装着すると、ゴーグルは「赤いマグカップをどこに置いてきたか」「一番近い出口はどこか」などの質問に答えてくれる可能性がある。あなたの周りの環境を認識し、物体や人間、その関係性を理解している機械知性と考えるのが適切かもしれない。

参考文献

  1. A. Rosinol, T. Sattler, M. Pollefeys, L. Carlone. Incremental Visual-Inertial 3D Mesh Generation with Structural Regularities.  IEEE Intl. Conf. on Robotics and Automation (ICRA) (2019).
  2. Antoni Rosinol, Marcus Abate, Yun Chang, Luca Carlone. Kimera: an Open-Source Library for Real-Time Metric-Semantic Localization and Mapping. IEEE Int. Conf. Robot. Autom. (ICRA), 2019.
  3. 太田 英司. セマンティック・セグメンテーションの基礎.

Read more

米国のEV革命は失速?[英エコノミスト]

米国のEV革命は失速?[英エコノミスト]

米国人は自動車が大好きだ。バッテリーで走らない限りは。ピュー・リサーチ・センターが7月に発表した世論調査によると、電気自動車(EV)の購入を検討する米国人は5分の2以下だった。充電網が絶えず拡大し、選べるEVの車種がますます増えているにもかかわらず、このシェアは前年をわずかに下回っている。 この言葉は、相対的な無策に裏打ちされている。2023年第3四半期には、バッテリー電気自動車(BEV)は全自動車販売台数の8%を占めていた。今年これまでに米国で販売されたEV(ハイブリッド車を除く)は100万台に満たず、自動車大国でない欧州の半分強である(図表参照)。中国のドライバーはその4倍近くを購入している。

By エコノミスト(英国)
労働者の黄金時代:雇用はどう変化しているか[英エコノミスト]

労働者の黄金時代:雇用はどう変化しているか[英エコノミスト]

2010年代半ばは労働者にとって最悪の時代だったという点では、ほぼ誰もが同意している。ロンドン・スクール・オブ・エコノミクスの人類学者であるデイヴィッド・グレーバーは、「ブルシット・ジョブ(どうでもいい仕事)」という言葉を作り、無目的な仕事が蔓延していると主張した。2007年から2009年にかけての世界金融危機からの回復には時間がかかり、豊かな国々で構成されるOECDクラブでは、労働人口の約7%が完全に仕事を失っていた。賃金の伸びは弱く、所得格差はとどまるところを知らない。 状況はどう変わったか。富裕国の世界では今、労働者は黄金時代を迎えている。社会が高齢化するにつれて、労働はより希少になり、より良い報酬が得られるようになっている。政府は大きな支出を行い、経済を活性化させ、賃上げ要求を後押ししている。一方、人工知能(AI)は労働者、特に熟練度の低い労働者の生産性を向上させており、これも賃金上昇につながる可能性がある。例えば、労働力が不足しているところでは、先端技術の利用は賃金を上昇させる可能性が高い。その結果、労働市場の仕組みが一変する。 その理由を理解するために、暗

By エコノミスト(英国)
中国は地球を救うのか、それとも破壊するのか?[英エコノミスト]

中国は地球を救うのか、それとも破壊するのか?[英エコノミスト]

脳腫瘍で余命いくばくもないトゥー・チャンワンは、最後の言葉を残した。その中国の気象学者は、気候が温暖化していることに気づいていた。1961年、彼は共産党の機関紙『人民日報』で、人類の生命を維持するための条件が変化する可能性があると警告した。 しかし彼は、温暖化は太陽活動のサイクルの一部であり、いつかは逆転するだろうと考えていた。トゥーは、化石燃料の燃焼が大気中に炭素を排出し、気候変動を引き起こしているとは考えなかった。彼の論文の数ページ前の『人民日報』のその号には、ニヤリと笑う炭鉱労働者の写真が掲載されていた。中国は欧米に経済的に追いつくため、工業化を急いでいた。 今日、中国は工業大国であり、世界の製造業の4分の1以上を擁する。しかし、その進歩の代償として排出量が増加している。過去30年間、中国はどの国よりも多くの二酸化炭素を大気中に排出してきた(図表1参照)。調査会社のロディウム・グループによれば、中国は毎年世界の温室効果ガスの4分の1以上を排出している。これは、2位の米国の約2倍である(ただし、一人当たりで見ると米国の方がまだひどい)。

By エコノミスト(英国)