巨大な「基盤モデル」がAIの進化に拍車をかける

イギリスのチップ設計会社グラフコアが、今後数年の間に作ろうとしている「Good Computer」は、名目上の控えめな表現に苦しんでいるように見えるかもしれない。その設計では、1秒間に10の19乗回の計算を行うことになっている。もし、あなたのノートパソコンが1秒間に1,000億回の計算ができるとしたら（平均的なノートパソコンとしては妥当）、「Good Computer」はその1億倍の速さであることになる。これは、アメリカのオークリッジ国立研究所にあるFrontierの10倍の速さである。Frontierは、最近の強力なスーパーコンピューターのリスト「Top500」でトップになり、6億ドルもかかったという。4ペタバイトのメモリは、2兆ページの印刷物、あるいは月に届く高さのA4用紙の山に相当するものを格納することができる。 これは、Good（良い）では済まされない。

しかし、Good Computerという言葉は質的な評価として使われているのではなく、知的遺産に敬意を表しているのである。このコンピュータの名前は、第二次世界大戦中に暗号解読者としてアラン・チューリングと一緒に働き、その後チューリングの後を追ってコンピュータサイエンスの世界に入ったジャック・グッドにちなんで付けられたものである。1965年、グッドは、この分野が何をもたらすかについて、常軌を逸しているとはいえ、影響力のある記事を書いた。「最初の超高知能機械に関する推測」である。グラフコアは、Good Computerをそのような超知的マシンにしたい、あるいは少なくともその方向への大きな一歩にしたいと考えている。

つまり、膨大な数の「パラメータ」（プログラム内のさまざまな計算に適用される係数）を持つ人工知能（AI）モデルを構築し、実行することである。4年前、「BERT」と呼ばれる革新的なモデルが誇った1億1,000万個のパラメータは、大きかった。現在の最先端のAIプログラムは、その1万倍、1兆個を超えるパラメータを持つ。Good Computerの野心的な仕様は、500兆個ものパラメータを持つプログラムを走らせたいという願望からきている。

この驚異的な成長について注目すべき点は、それが始まるまで、モデルにパラメータを追加することはいずれ収穫逓減のポイントに達するという考えが広まっていたことだ。しかし、「BERT」のようなモデルを使った経験から、その逆が正しいことがわかった。より多くのデータを与え、パラメーターの数を増やしてモデルを大きくすればするほど、どんどん良くなっていく。アレン人工知能研究所（AI2）を主宰するオーレン・エツィオーニは、「驚きの連続だった」と言う。