新しい強化学習アルゴリズムは、コンピュータチップ上の部品の配置を最適化することで、より効率的で消費電力の少ないコンピュータチップにすることを学習した。

「チップフロアプランニング」とも呼ばれるチップ配置は、複雑な3次元設計だ。制約のある領域内の複数のレイヤーにまたがる数百、時には数千のコンポーネントを慎重に構成する必要がある。従来、エンジニアは、効率性の代理としてコンポーネント間で使用されるワイヤの量を最小限に抑える構成を手動で設計していた。その後、電子設計自動化ソフトウェアを使用して、その性能をシミュレーションして検証する。

各チップの設計には時間がかかるため、チップの寿命は従来、2年から5年とされてきた。しかし、機械学習アルゴリズムが急速に進歩するにつれ、新しいチップアーキテクチャの必要性も加速している。近年、チップフロアプランニングを最適化するためのいくつかのアルゴリズムは、設計プロセスの高速化を目指しているが、チップの消費電力、計算性能、面積など、複数の目標にまたがって最適化する能力には限界がある。

これらの課題に対応するため、Google の研究者 Anna Goldie と Azalia Mirhoseini は、強化学習という新しいアプローチを採用した。強化学習アルゴリズムは、正のフィードバックと負のフィードバックを使用して複雑なタスクを学習する。そこで研究者たちは、アルゴリズムの設計のパフォーマンスに応じて罰を与えたり、報酬を与えたりする「報酬関数」と呼ばれるものを設計した。アルゴリズムはその後、数万から数十万の新しいデザインを、それぞれ数秒のうちに生成し、報酬関数を使って評価しました。時間をかけて、チップコンポーネントを最適な方法で配置するための最終的な戦略に収束した。

電子設計自動化ソフトウェアで設計をチェックした後、研究者たちは、アルゴリズムのフロアプランの多くが人間のエンジニアによって設計されたものよりも優れた性能を発揮することを発見した。また、このアルゴリズムは、人間の対応者にも新しい技を教えてくれたと研究者は述べている。

この分野の歴史を通じて、AIの進歩はチップ設計の進歩と密接に結びついてきた。このアルゴリズムがチップ設計プロセスをスピードアップし、新世代の改良されたアーキテクチャにつながり、AIの進歩を加速させることが期待されている。

参考文献

  1. Anna Goldie, Azalia Mirhoseini et al. Placement Optimization with Deep Reinforcement Learning. arXiv:2003.08445. [Submitted on 18 Mar 2020]