過去の動画から「偽ウィンブルドン」を生成するスタンフォード大のAI

スタンフォード大学の研究チームは、ウィンブルドンの決勝戦などをリアルにシミュレートできるAIを搭載したモデルを発表した。

研究者たちは、大量の試合映像を使って選手の行動予測モデルを作成するスポーツ分析のトレンドに触発され、このようなモデリングと画像ベースのレンダリングを組み合わせて、トップテニスプロのスタイルとパフォーマンスを模倣したインタラクティブに制御可能なビデオ「スプライト」を構築した。

「私たちのシステムは、ウィンブルドン放送に似たプロテニスプレイヤー間の斬新なポイントを生成することができ、実生活では対戦したことのないプレイヤー間の対戦の作成や、ウィンブルドン決勝戦でのプレイヤーのインタラクティブなコントロールなどの新しい体験を可能にする」と、研究者たちはアプローチの詳細を論文で説明している。

このアプローチは、制御可能なビデオテクスチャに基づいて、ボールが接触した時間や場所、ストロークの種類などの重要なマッチプレーのイベントに注釈が付けられた放送テニスビデオのデータベースを入力として取る。

このデータベースには、ロジャー・フェデラー、ラファエル・ナダル、ノバク・ジョコビッチなどの人気選手の試合や、2018年と2019年のウィンブルドン大会のシモナ・ハレプ、カミラ・ジョルジとのセレナ・ウィリアムズの試合などが含まれている。

データベースには、各選手のショットが数千本あります。研究者たちはこれらのデータポイントを使用して、ポジショニングとボールストライクの決定をモデル化し、特定のプレーヤーがコート上でどのように自分自身を配置し、特定の状況でどのように、どこにボールを打つ可能性が最も高いかを反映した行動モデルを構築したという。

研究者たちは，注釈付きショットサイクルのデータベースを活用して，ショットサイクルの開始時のポイントステートを入力し，ショットサイクルのためのプレイヤーのショット選択とリカバリーポジションの決定を生成する統計的なプレイヤー行動モデルを構築した。

この行動モデルは、実生活のプレイヤーが与えられた試合のプレー状況で行うであろう行動を反映したビデオクリップを選択し、実生活の戦略や傾向を捉えることで、プレイヤーの外見や動きのスタイル、ショットの実行をリアルに描写するビデオスプライトを生成することができる。

調査したテニスの専門家によると、提案したアプローチを使って生成されたラリーは、ビデオ合成時のモーション遷移の質のみを考慮したビデオスプライト手法よりも、選手の行動という点で著しく現実的であるという。

研究者らは、彼らのシステムのリアルなゲーム映像生成機能とインタラクティブなユーザーコントロール機能は、スポーツエンターテインメントの新しい体験を可能にし、アスリートの可視化やコーチングにも実用的な応用が可能であると考えている。

Photo: "Roger Federer – Wimbledon 2009"by alphababy is licensed under CC BY-SA 2.0