DeepMindが強化学習におけるアフォーダンス理論を提案

要点

DeepMindの研究者たちは現在、認知心理学のアフォーダンス理論を利用して強化学習の新しいアプローチを開発している。この学習方法では、ロボットが最初に環境を学習した場合、ロボットは強化学習の過程での失敗の大半をなくすことができると目論んでいる。研究はまだ初期段階だが、発表された研究によると、理論上それを実現する可能性は高まっている。

椅子を見ると、形や色に関係なく、その椅子に座れることを知っている。魚が水の中にいるときは、場所に関係なく、泳げることを知っている…。これは、心理学者ジェームズ・J・ギブソンの造語であるアフォーダンス理論として知られている。これは、知的な存在が世界を見るときには、単に物やその関係性だけでなく、その可能性も認識しているというものである。言い換えれば、椅子は座ることの可能性を「提供」する。水は泳ぐ可能性を「与える」（afford）のである。この理論は、動物の知性が一般化可能である理由の一部を説明することができる。

DeepMindの研究者たちは現在、この概念を利用して強化学習の新しいアプローチを開発している。典型的な強化学習では、どのような行動も可能であると仮定して、エージェントは試行錯誤しながら学習する。例えば、A地点からB地点に移動することを学習しているロボットは、壁や家具を通り抜けることができると仮定して、何度も失敗するまで移動する。アフォーダンス理論を採用した強化学習では、ロボットが最初に環境を学習した場合、ロボットが失敗する試行のかなりの割合をすぐになくすことができるというものだ。そうすれば、学習プロセスがより効率的になり、異なる環境での一般化にも役立つ。

論文は、マルコフ決定過程において学習・計画を行うエージェントのためのアフォーダンスの理論を展開する。研究者たちは、簡単な仮想シナリオを設定した。真ん中に壁がある二次元の環境に仮想エージェントを配置し、その環境が何を可能にするか、つまり余裕を学習するまで、エージェントにその可動範囲を探索させたのである。その後、研究者らは、エージェントに、強化学習によって達成すべき簡単な目標（例えば、一定量を右や左に移動するなど）を与えた。研究者らは、アフォーダンスを学習していないエージェントと比較して、動きの途中で壁に阻まれるような動きを避け、より効率的に目標を達成できるように設定していることを発見した。

この研究はまだ初期段階にあるため、研究者たちは単純な環境と原始的な目的のみを使用した。しかし、彼らの希望は、初期の実験が、このアイデアをより複雑な動作にまで拡大するための理論的な基礎を築くのに役立つということです。将来的には、このアプローチにより、ロボットがコップに液体を注ぐことができるかどうかを迅速に評価できるようになると考えている。どの物体が液体を保持する可能性があり、どの物体が液体を保持しない可能性があるのかを一般的に理解することができれば、目的を達成する方法を学ぶために何度もカップを見落としたり、テーブルの上に液体を流し込んだりする必要はなくなる。

Photo by Jurica Koletić on Unsplash