Google、選択的注意を模倣したAIエージェントを構築

要点

Genetic and Evolutionary Computation Conference (GECCO) 2020に採択された研究では、Googleの研究者たちは「自己注意ボトルネック」（self-attention bottlenecks）を採用したAIソフトウェアエージェントの特性を調査した。研究者らは、これらのエージェントは、難解な視覚ベースのタスクを解くための適性を示すだけでなく、自分を混乱させる可能性のある詳細に対する不注意のために、タスクのわずかな変更に取り組むのが得意であると主張している。

選択的注意を再現する機械学習エージェント

非注意性盲目とは、人が目に見えるところにあるものを見落としてしまう現象である。これは「選択的注意」の結果であり、人間は意思決定に必要なコンパクトな形に情報を凝縮することができると考えられているメカニズムである。ヤン・ルカンのような著名な研究者は、これが生物の優雅さや効率性をより良く模倣したAIシステムの設計にインスピレーションを与えることができると主張している。

Googleの研究者が提案したエージェント「AttentionAgent」は、タスクに関連する要素に注意の大半を集中させることを目的としている。これを実現するために、このシステムは入力画像をパッチに分割し、自己注意アーキテクチャに依存してパッチに「投票」してサブセットを選択する。選出されたパッチがAttentionAgentの行動の指針となり、重要な要素が時間の経過とともにどのように進化していくかを追跡しながら、入力データの変化を把握していく。

実験では、AttentionAgentが画像内のさまざまな領域に注目することを学習することを示した。例えば、一人称視点シューティングゲーム「Doom」をベースに構築されたデジタル研究環境「VizDoom」内のレベルでは、これまで遭遇しなかった壁や床の質感、看板などの環境でも、AttentionAgentは生き残れるように訓練された。

また、強化学習アルゴリズムの開発と比較のためのツールキットであるOpenAI's Gym内のCarRacingゲームでは、AttentionAgentは、晴れた日の運転を学習し、そのスキルを夜間、雨の日、別の車、明るい景色や暗い景色、視覚効果物の存在下での運転に応用することができました。おそらく、より印象的なことに、CarRacingでのトレーニングは、一般化に失敗する従来の方法に比べて、1,000倍少ないパラメータ（その予測を知らせるシステム内部の変数）を必要とするだけだった。

このような結果にもかかわらず、研究者たちはAttentionAgentには深刻な限界があると指摘している。例えば、「劇的な」背景の変化が関与している場合には一般化できません。例えば、緑の草の背景でCarRacingを訓練したエージェントは、背景を気が散るYouTubeの動画に置き換えたときに一般化できかった。背景を一様なノイズで置き換えると、エージェントはランダムなノイズのパッチに注意を払っていた。また、ノイズの多い背景で一から学習させたエージェントは、軌道を周回できるようになったが、その性能は平凡であった。

将来、選択的注意の改善された作業を動機づけるために、研究者たちは、環境の修正を伴うカーレースのタスクのセットを発表した。それは現在GitHub上のオープンソースで利用可能だ。

参考文献

Yujin Tang, Duong Nguyen. Neuroevolution of Self-Interpretable Agents. GECCO 2020.

Photo by Google Cloud