WaymoがGANを使って自律走行車のカメラデータをシミュレーション

Waymo チーフサイエンティストのDragomir Anguelovを含む同社の研究者が共著した2020年の論文では、テクスチャマップされた表面要素を使用してシーンやカメラの視点の位置や向きを再構築する技術「SurfelGAN」について説明している。

WaymoがGANを使って自律走行車のカメラデータをシミュレーション

Waymoは、自動運転車が収集したセンサーデータを利用してシミュレーション用のカメラ画像を生成するためにAIを活用している。チーフサイエンティストのDragomir Anguelovを含む同社の研究者が共著した2020年の論文では、テクスチャマップされた表面要素を使用してシーンやカメラの視点の位置や向きを再構築する技術「SurfelGAN」について説明している。

Waymoのような自律走行車会社は、シミュレーション環境を使用して、実際の車にシステムを展開する前に、システムのトレーニング、テスト、検証を行っている。シミュレータを設計する方法は無数にあるが、基本的なシミュレータでは、歩行者のジェスチャーやライトの点滅など、シーンを理解する上で重要な手がかりが省略されている。WaymoのCarCraftのようなより複雑なシミュレータでは、LiDARやレーダーのようなセンサーがリアルに動作するように、材料を非常に正確にモデル化しようとするため、計算量が多くなる。

SurfelGANでは、Waymoはセンサーデータをシミュレートするための、よりシンプルでデータ駆動型のアプローチを提案している。現実世界のライダーセンサーやカメラからのフィードを利用して、AIはシーン内のすべてのオブジェクトの3Dジオメトリ、セマンティクス、外観に関する豊富な情報を作成し、保存する。再構成が与えられると、SurfelGANは様々な距離と視野角からシミュレートされたシーンをレンダリングする。

左の列は、新規に作成したサーフェル画像を示し、2番目の列は、SurfelGANから合成した結果です。3番目の列は元の画像です。Image via Waymo. https://deepai.org/publication/surfelgan-synthesizing-realistic-sensor-data-for-autonomous-driving

SurfelGAN

SurfelGANは、テクスチャ強化サーフェルマップ表現(texture-enhanced surfel map representation)と呼ばれるものを使用している。これは、コンパクトで構成が簡単なシーン表現で、適度な計算効率を保ちながらセンサ情報を保持する。

Surfelとは、「表面要素」の略語で「ボクセル」(ボリューム要素)や「ピクセル」(ピクチャ要素)に似ている。3Dコンピュータグラフィックスでは、Surfelの使用はポリゴンモデリングの代替となる。オブジェクトは、照明情報を保持している点の密集したセットまたはビューアに面したディスクによって表現される。Surfelは、隣接関係リストのようなトポロジー情報を計算する必要がないため、自律走行環境のような動的ジオメトリのモデリングに適している。他にも、医療スキャナのデータ表現、粒子系のリアルタイムレンダリングなどに応用されている。

Waymoのアプローチでは、LiDARスキャンで得られたボクセルを、カメラデータから推定された色を持つSurfelに変換し、その後、Surfelを後処理して照明やポーズの変化に対応させている。

車両のような動的なオブジェクトを扱うために、SurfelGANは、Waymoのオープンソースの自動運転車のセンサーログのコーパスであるWaymo Open Datasetからのアノテーションも採用している。関心のあるオブジェクトのLiDARスキャンからのデータが蓄積されているため、シミュレーションでは、Waymoは不完全なジオメトリやテクスチャリングではあるが、任意の場所に配置できる自動車や歩行者の再構成を生成できる。

SurfelGANの中の1つのモジュールである敵対的生成ネットワーク(GAN)は、Surfel画像のレンダリングをリアルな画像に変換する役割を担っている。その生成器は、分布を使ってサンプリングされたランダムノイズから合成例を生成し、訓練データセットからの実例とともに識別器に供給される(下図)。生成器と識別器の両方がそれぞれの能力を向上させ、識別器が合成例と実例を見分けることができなくなるまで、偶然に期待される50%以上の精度で識別することができるようになる。

SurfelGANトレーニングパラダイム。トレーニングセットアップには、2つの対称エンコーダー/デコーダー. Image via Waymo. https://deepai.org/publication/surfelgan-synthesizing-realistic-sensor-data-for-autonomous-driving

SurfelGANモジュールは、教師なしで学習する。つまり、既知の結果、ラベル付けされた結果、またはアノテーションされた結果を参照することなく、コーパス内のパターンを推測する。興味深いことに、識別器の作業はジェネレーターの作業に影響を与える。識別器が合成された作業を正しく識別するたびに、将来的により現実的になるように出力を微調整する方法をジェネレーターに伝える。

結果: 実物画像と同等の指標を達成

WaymoはSurfelGANの性能を評価するために一連の実験を行い、Waymo Open Datasetから車両、歩行者、自転車のアノテーションとともに20秒間のカメラデータ(5台のカメラ)とLiDARデータからなる798個のトレーニングシーケンスを与えた。SurfelGANチームはまた、Waymo Open Dataset-Novel Viewと呼ばれる新しいデータセットを作成して使用した。

最後に、Waymoは、注釈なしのカメラ画像の追加シーケンス(合計9,800、各100フレーム)を収集し、Dual-Camera-Post Dataset(DCP)と呼ばれるコーパスを構築して、SurfelGANが生成した画像のリアルさを測定した。Waymoは、1台目の車両のデータを使用してシーンを再構成し、2台目の車両の正確なポーズで画像をレンダリングし、ピクセル単位の精度を判断するために約1,000組のペアを作成した。

SurfelGAN-SAC(1/2)の定性結果。Surfelレンダリングと合成画像のペア(上下で対)。

論文の共著者らは、SurfelGANで生成した画像を市販の車両検出器に提供したところ、最高品質の合成画像が実物画像と同等の指標を達成したと報告している。また、SurfelGANは、DCPでのSurfelレンダリングの上に改良を加え、距離の範囲で実画像に近い画像を生成した。さらに、研究者らは、SurfelGANからの画像によって、車両検知器の平均精度(異なるサンプルからの推定値がどれだけお互いに近いか)を11.9%から13%に向上させることができることを実証した。

共著者は、SurfelGANは完璧ではないと指摘している。例えば、壊れたジオメトリを復元できないことがあり、非現実的な車両の外観になってしまうことがある。また、サーフェル合図がない場合、AIは高いばらつきを示し、特に高い建物のようなデータセットでは珍しいパターンを幻覚化しようとすると、高いばらつきを示す。にもかかわらず、同社の研究者は、将来の動的オブジェクトモデリングや映像生成シミュレーションシステムの強力な基盤になると考えている。

Photo: "File:Waymo Chrysler Pacifica in Los Altos, 2017.jpg"by Dllu is licensed under CC BY-SA 4.0

参考文献

  1. Zhenpei Yang, et al. SurfelGAN: Synthesizing Realistic Sensor Data for Autonomous Driving. arXiv:2005.03844 [cs.CV]. 2020.

Special thanks to supporters !

Shogo Otani, 林祐輔, 鈴木卓也, Mayumi Nakamura, Kinoco, Masatoshi Yokota, Yohei Onishi, Tomochika Hara, 秋元 善次, Satoshi Takeda, Ken Manabe, Yasuhiro Hatabe.

コーヒー代支援 / サポーター加入

Axionは吉田が2年無給で、1年が高校生アルバイトの賃金で進めている「慈善活動」です。有料購読型アプリへと成長するプランがあります。コーヒー代のご支援をお願いします。個人で投資を検討の方はTwitter(@taxiyoshida)までご連絡ください。プロジェクトの詳細は以下を参照くださいませ。

Takushi Yoshida is creating writing/journalism | Patreon
Patreon is a membership platform that makes it easy for artists and creators to get paid. Join over 200,000 creators earning salaries from over 6 million monthly patrons.

Read more

新たなスエズ危機に直面する米海軍[英エコノミスト]

新たなスエズ危機に直面する米海軍[英エコノミスト]

世界が繁栄するためには、船が港に到着しなければならない。マラッカ海峡やパナマ運河のような狭い航路を通過するとき、船舶は最も脆弱になる。そのため、スエズ運河への唯一の南側航路である紅海で最近急増している船舶への攻撃は、世界貿易にとって重大な脅威となっている。イランに支援されたイエメンの過激派フーシ派は、表向きはパレスチナ人を支援するために、35カ国以上につながる船舶に向けて100機以上の無人機やミサイルを発射した。彼らのキャンペーンは、黒海から南シナ海まですでに危険にさらされている航行の自由の原則に対する冒涜である。アメリカとその同盟国は、中東での紛争をエスカレートさせることなく、この問題にしっかりと対処しなければならない。 世界のコンテナ輸送量の20%、海上貿易の10%、海上ガスと石油の8~10%が紅海とスエズルートを通過している。数週間の騒乱の後、世界の5大コンテナ船会社のうち4社が紅海とスエズ航路の航海を停止し、BPは石油の出荷を一時停止した。十分な供給があるため、エネルギー価格への影響は軽微である。しかし、コンテナ会社の株価は、投資家が輸送能力の縮小を予想している

By エコノミスト(英国)
新型ジェットエンジンが超音速飛行を復活させる可能性[英エコノミスト]

新型ジェットエンジンが超音速飛行を復活させる可能性[英エコノミスト]

1960年代以来、世界中のエンジニアが回転デトネーションエンジン(RDE)と呼ばれる新しいタイプのジェット機を研究してきたが、実験段階を超えることはなかった。世界最大のジェットエンジン製造会社のひとつであるジー・エアロスペースは最近、実用版を開発中であると発表した。今年初め、米国の国防高等研究計画局は、同じく大手航空宇宙グループであるRTX傘下のレイセオンに対し、ガンビットと呼ばれるRDEを開発するために2900万ドルの契約を結んだ。 両エンジンはミサイルの推進に使用され、ロケットや既存のジェットエンジンなど、現在の推進システムの航続距離や速度の限界を克服する。しかし、もし両社が実用化に成功すれば、超音速飛行を復活させる可能性も含め、RDEは航空分野でより幅広い役割を果たすことになるかもしれない。 中央フロリダ大学の先端航空宇宙エンジンの専門家であるカリーム・アーメッドは、RDEとは「火を制御された爆発に置き換える」ものだと説明する。専門用語で言えば、ジェットエンジンは酸素と燃料の燃焼に依存しており、これは科学者が消炎と呼ぶ亜音速の反応だからだ。それに比べてデトネーシ

By エコノミスト(英国)
ビッグテックと地政学がインターネットを作り変える[英エコノミスト]

ビッグテックと地政学がインターネットを作り変える[英エコノミスト]

今月初め、イギリス、エストニア、フィンランドの海軍がバルト海で合同演習を行った際、その目的は戦闘技術を磨くことではなかった。その代わり、海底のガスやデータのパイプラインを妨害行為から守るための訓練が行われた。今回の訓練は、10月に同海域の海底ケーブルが破損した事件を受けたものだ。フィンランド大統領のサウリ・ニーニストは、このいたずらの原因とされた中国船が海底にいかりを引きずった事故について、「意図的なのか、それとも極めて稚拙な技術の結果なのか」と疑問を呈した。 海底ケーブルはかつて、インターネットの退屈な配管と見なされていた。現在、アマゾン、グーグル、メタ、マイクロソフトといったデータ経済の巨人たちは、中国と米国の緊張が世界のデジタルインフラを分断する危険性をはらんでいるにもかかわらず、データの流れをよりコントロールすることを主張している。その結果、海底ケーブルは貴重な経済的・戦略的資産へと変貌を遂げようとしている。 海底データパイプは、大陸間インターネットトラフィックのほぼ99%を運んでいる。調査会社TeleGeographyによると、現在550本の海底ケーブルが活動

By エコノミスト(英国)