GoogleのAIにより、自然言語でモバイルアプリを操作できる

Googleは、スマートフォンアプリのアクションを自然言語で行うため、AIの活用方法を調査している。2020年のACL会議で採択された研究は、自然言語を介してアプリを操縦するモデルを訓練するためのコーパスを提案し、視覚障害を持つ人々のために有用である可能性を示した。画面遷移の際に生成される画面を予測できる。

吉田拓史

2020年7月20日 — 2 min read

要点

Googleは、スマートフォンアプリのアクションを自然言語で行うため、AIの活用方法を調査している。2020年のAssociation for Computational Linguistics（ACL）会議で採択された研究は、自然言語を介してアプリを操縦するモデルを訓練するためのコーパスを提案し、視覚障害を持つ人々のために有用である可能性があることを示した。このモデルは、アプリの画面遷移の際に生成される画面を予測できるという。

アプリの画面遷移の際に生成される画面を予測

一連の行動を伴うタスク（例えば、レシピに従ってバースデーケーキを焼くなど）を達成する際には、人々は互いに指示を与え合う。このことを念頭において、研究者らは、同様の相互作用を助けることができるAIエージェントのベースラインを確立することに着手した。一連の指示が与えられると、これらのエージェントは理想的には、アプリのアクションのシーケンスだけでなく、アプリが1つの画面から別の画面に遷移する際に生成される画面やインタラクティブな要素を予測することができる。

研究者らは論文の中で、アクションフレーズ抽出ステップとグラウンディングステップからなる2段階のソリューションを説明している。アクションフレーズ抽出は、Transformerモデルを使用して、マルチステップ命令から操作、オブジェクト、引数の記述を特定する（モデル内の「領域注目」モジュールにより、説明を解読するために命令内の隣接する単語のグループに注目することができる）。グラウンディングステップは、抽出された操作とオブジェクトの説明を画面上のUIオブジェクトと一致させる。これもTransformerモデルを使用するが、UIオブジェクトを文脈的に表現し、オブジェクトの説明を画面上のUIオブジェクトと一致させる。

共著者らは、アクションフレーズ抽出とグラウンディングモデルを訓練・評価するために、3つのデータセットを新たに作成した。

1つ目のデータセットには、Pixel Phoneを操作するための187の多段階の英語の指示と、それに対応するアクション画面のシーケンスが含まれている。
2つ目のデータセットには，ウェブからの英語の「ハウツー」指示と，各アクションを説明する注釈付きのフレーズが含まれている。
3つ目は、公開されているAndroid UIコーパスから、25,000のモバイルUI画面のうち17万8,000のUIオブジェクトをカバーするUIアクションに対する29万5,000のシングルステップコマンドを収録している。

彼らの報告によると、エリアアテンションを持つトランスフォーマーは、グランド真実と完全に一致するスパンシーケンスを予測するために85.56%の精度を得ることができた。一方、フレーズ抽出器と接地モデルを併用することで、言語命令を実行可能なアクションにエンドツーエンドでマッピングするというより困難なタスクについて、部分的に89.21%の精度、完全に70.59%の精度で接地真実のアクションシーケンスをマッチングさせることができた。

研究者らは、データセット、モデル、結果のすべてがGitHubでオープンソースとして公開されており、自然言語による指示をモバイルUIのアクションへのグラウンディングという困難な問題の重要な第一歩を提供していると主張している。

「この研究と、一般的に言語の接地は、グラフィカル・ユーザー・インターフェース上で多段階の指示をアクションに変換するための重要なステップだ。タスクの自動化をUIドメインにうまく応用すれば、アクセシビリティを大幅に向上させる可能性がある。言語インターフェースは、視覚障害者が視覚を前提としたインターフェースでタスクを実行するのに役立つかもしれない」とGoogle Researchの科学者Yang Liはブログで書いている。「これは、手元のタスクに縛られている間にデバイスに簡単にアクセスできない場合にも重要です」。