USC, Google, バークリーの研究者、音楽を使った3Dダンス生成を提案

Google、南カルフォルニア大学(USC)、カルフォルニア大学バークレー校の研究者は21日、3DダンスデータセットAIST++を用いた3Dダンス生成モデルを発表した。Transformerに基づいたこのモデルは、ダンスの初動を与えると、滑らかなダンスの続きを自動的に生成する。

USC, Google, バークリーの研究者、音楽を使った3Dダンス生成を提案

Google、南カルフォルニア大学(USC)、カルフォルニア大学バークレー校の研究者は21日、3DダンスデータセットAIST++を用いた3Dダンス生成モデルを発表した。Transformerに基づいたこのモデルは、ダンスの初動を与えると、滑らかなダンスの続きを自動的に生成する。

YouTubeで最も視聴されている動画は、「ベイビーシャークダンス」や「江南スタイル」などのダンス中心のミュージックビデオであり、ダンスはインターネット上でメッセージを広めるための強力なツールとなっている。しかし、ダンスは芸術の一形態であり、人間であっても、表現力豊かな動きのコラージュを作成するために、ダンスの動きの豊富なレパートリーをダンサーに装備させるためには、専門的なトレーニングが必要である。この課題では、音楽との非線形な関係を捉えた高い運動学的複雑性を持つ連続的な動きを生成する能力が必要となるため、計算はさらに困難だ。

南カルフォルニア大学の博士候補Ruilong Liらは、新しいクロスモーダル変換ベースの学習フレームワークとAIST++と呼ばれる新しい3Dダンスモーションデータセットを提示し、音楽を条件とした3Dダンスモーションを生成するモデルを学習するために使用した。具体的には、1枚の音楽と短い(2秒)初動が与えられると、我々のモデルは現実的な3Dダンスモーションの長いシーケンスを生成することができる。

このモデルは、音楽と動きの相関関係を効果的に学習し、異なる入力音楽に対して変化するダンスシーケンスを生成することができる。ダンスは、関節回転と大域移動からなる3Dモーションシーケンスとして表現しており、図に示すようなモーションリターゲティングなどのアプリケーションへの出力を容易に転送することが可能である。

学習フレームワークについては、音楽を条件とした3次元運動を生成するための新しい Transformer ベースのクロスモーダルアーキテクチャを提案する。我々は、特に長いシーケンス生成に有効であることが示されている最近の Attention ベースのネットワークを基礎とし、3つのトランスフォーマを使用するフレームワークを設計した。1つは音声シーケンス表現用、1つは運動表現用、1つはクロスモーダルの音声と運動の対応関係用である。モーションとオーディオの変換器は入力シーケンスをエンコードし、クロスモーダル変換器はこれら2つのモーダル間の相関関係を学習し、将来のモーションシーケンスを生成する。このモデルは、異なる音楽に対して異なるダンスシーケンスを生成すると同時に、推論時にフリーズやドリフトを起こさない長期的にリアルな動きを生成することができる、とLiらは主張している。

提案モデルを学習するために,データの問題にも取り組んでいる.音楽に合わせて踊るダンサーのモーションキャプチャーデータはいくつかあるが、モカプデータを収集するには重度のインストルメント環境が必要であり、これらのデータセットは利用可能なダンスシーケンスの数、ダンサー、音楽の多様性が著しく制限されている。

そこで、LiらはAIST++と呼ばれる新しいデータセットを提案した。このデータから信頼性の高い3Dモーションを復元するために、マルチビュー情報を使用する。このデータベースにはマルチビューショットが含まれている。結果として得られたAIST++のデータセットには、音楽を伴う3Dダンスモーションの最大110万フレームが含まれており、この種のデータセットとしては最大規模となる。また、AIST++は、10の音楽ジャンル、30の被験者、1つのダンスにつき9つのビデオシーケンスにまたがっており、カメラの内部性を復元したもので、他の人体や運動の研究にも役立つ可能性を秘めている。このデータセットは https://google.github.io/aistplusplus_dataset/ にある。

このデータセットは、運動生成と予測の両方のタスクのベンチマークとして機能するように設計されています。また、2D/3Dの人間のポーズ解析など、他のタスクにも大いに役立つ可能性を秘めている。我々の知る限りでは、AIST++は1408のシーケンス、30の被験者、10のダンスジャンル、基本的な振り付けと高度な振り付けを持つ最大の3Dヒューマンダンスデータセットです。表1を参照してください。1を参照してください。AIST++は、AMASSのような既存の3Dモーションデータセットを補完するデータセットで、音楽を伴わない17.8分のダンスモーションしか収録していない。

AIST++には10のダンスジャンルが含まれている。オールドスクール(ブレイク、ポップ、ロック、ワック)とニュースクール(ミドルヒップホップ、LAスタイルヒップホップ、ハウス、クランプ、ストリートジャズ、バレエジャズ)である(下図)。

AIST+++に収録されたダンスの種類の可視化。Source: Ruilong Li, et al. Learn to Dance with AIST++: Music Conditioned 3D Dance Generation

AIST+++に収録されたダンスの種類の可視化。Source: Ruilong Li, et al. Learn to Dance with AIST++: Music Conditioned 3D Dance Generation

動きはすべてのダンスジャンルに均等に分布しており、幅広い音楽テンポをカバーしている。各ジャンルのダンスモーションには、基本的な振り付けが85%、高度な振り付けが15%含まれており、前者は基本的な短いダンス動作であり、後者はダンサーが自由に設計した長い動作である。しかし、AIST+++はインストラクションデータベースであり、ダンスではよくあるBPMの異なる音楽に合わせて複数のダンサーが同じ振付を踊っている様子を記録している。このことは、クロスモーダルなシークエンス・ツー・シークエンスの生成において、ユニークな課題となっている。

参考文献

Ruilong Li, et al. Learn to Dance with AIST++: Music Conditioned 3D Dance Generation. arXiv:2101.08779 [cs.CV]

Read more

新たなスエズ危機に直面する米海軍[英エコノミスト]

新たなスエズ危機に直面する米海軍[英エコノミスト]

世界が繁栄するためには、船が港に到着しなければならない。マラッカ海峡やパナマ運河のような狭い航路を通過するとき、船舶は最も脆弱になる。そのため、スエズ運河への唯一の南側航路である紅海で最近急増している船舶への攻撃は、世界貿易にとって重大な脅威となっている。イランに支援されたイエメンの過激派フーシ派は、表向きはパレスチナ人を支援するために、35カ国以上につながる船舶に向けて100機以上の無人機やミサイルを発射した。彼らのキャンペーンは、黒海から南シナ海まですでに危険にさらされている航行の自由の原則に対する冒涜である。アメリカとその同盟国は、中東での紛争をエスカレートさせることなく、この問題にしっかりと対処しなければならない。 世界のコンテナ輸送量の20%、海上貿易の10%、海上ガスと石油の8~10%が紅海とスエズルートを通過している。数週間の騒乱の後、世界の5大コンテナ船会社のうち4社が紅海とスエズ航路の航海を停止し、BPは石油の出荷を一時停止した。十分な供給があるため、エネルギー価格への影響は軽微である。しかし、コンテナ会社の株価は、投資家が輸送能力の縮小を予想している

By エコノミスト(英国)
新型ジェットエンジンが超音速飛行を復活させる可能性[英エコノミスト]

新型ジェットエンジンが超音速飛行を復活させる可能性[英エコノミスト]

1960年代以来、世界中のエンジニアが回転デトネーションエンジン(RDE)と呼ばれる新しいタイプのジェット機を研究してきたが、実験段階を超えることはなかった。世界最大のジェットエンジン製造会社のひとつであるジー・エアロスペースは最近、実用版を開発中であると発表した。今年初め、米国の国防高等研究計画局は、同じく大手航空宇宙グループであるRTX傘下のレイセオンに対し、ガンビットと呼ばれるRDEを開発するために2900万ドルの契約を結んだ。 両エンジンはミサイルの推進に使用され、ロケットや既存のジェットエンジンなど、現在の推進システムの航続距離や速度の限界を克服する。しかし、もし両社が実用化に成功すれば、超音速飛行を復活させる可能性も含め、RDEは航空分野でより幅広い役割を果たすことになるかもしれない。 中央フロリダ大学の先端航空宇宙エンジンの専門家であるカリーム・アーメッドは、RDEとは「火を制御された爆発に置き換える」ものだと説明する。専門用語で言えば、ジェットエンジンは酸素と燃料の燃焼に依存しており、これは科学者が消炎と呼ぶ亜音速の反応だからだ。それに比べてデトネーシ

By エコノミスト(英国)
ビッグテックと地政学がインターネットを作り変える[英エコノミスト]

ビッグテックと地政学がインターネットを作り変える[英エコノミスト]

今月初め、イギリス、エストニア、フィンランドの海軍がバルト海で合同演習を行った際、その目的は戦闘技術を磨くことではなかった。その代わり、海底のガスやデータのパイプラインを妨害行為から守るための訓練が行われた。今回の訓練は、10月に同海域の海底ケーブルが破損した事件を受けたものだ。フィンランド大統領のサウリ・ニーニストは、このいたずらの原因とされた中国船が海底にいかりを引きずった事故について、「意図的なのか、それとも極めて稚拙な技術の結果なのか」と疑問を呈した。 海底ケーブルはかつて、インターネットの退屈な配管と見なされていた。現在、アマゾン、グーグル、メタ、マイクロソフトといったデータ経済の巨人たちは、中国と米国の緊張が世界のデジタルインフラを分断する危険性をはらんでいるにもかかわらず、データの流れをよりコントロールすることを主張している。その結果、海底ケーブルは貴重な経済的・戦略的資産へと変貌を遂げようとしている。 海底データパイプは、大陸間インターネットトラフィックのほぼ99%を運んでいる。調査会社TeleGeographyによると、現在550本の海底ケーブルが活動

By エコノミスト(英国)