AIに対する「大きければ大きいほどいい」アプローチが行き詰まりつつある［英エコノミスト］

アメリカの研究機関OpenAIが作った人気チャットボットChatGPTを動かすGPTのような「大規模言語モデル（LLM）」に関して言えば、そのヒントは名前にある。現代のAIシステムは、生物の脳を大雑把にモデル化したソフトウェアの断片である巨大な人工ニューラルネットワークによって動いている。ニューロン間の接続をシミュレートしたもので、1,750億個の「パラメータ」を持っていた。GPT-3は、何千ものGPU（AI作業を得意とする特殊なチップ）に数週間かけて何千億ワードものテキストを読み込ませることで訓練された。そのために少なくとも460万ドルの費用がかかったと考えられている。

しかし、現代のAI研究の最も一貫した結果は、大きいことは良いことだが、より大きいことはより良いことだということだ。3月にリリースされたGPT-4は、前作の6倍近い約1兆個のパラメータを持つと考えられている。同社のボスであるサム・アルトマンは、その開発費を1億ドル以上としている。同様の傾向は業界全体に見られる。調査会社のEpoch AIは2022年、最先端のモデルを訓練するのに必要なコンピューティングパワーは、6ヶ月から10ヶ月ごとに倍増していると推定している（図表参照）。

この巨大化が問題になっている。もしEpoch AIの10ヶ月ごとに倍増するという数字が正しければ、トレーニングコストは2026年までに10億ドルを超える可能性がある。2022年10月に発表された分析によると、トレーニング用の高品質なテキストのストックは、同じ時期に枯渇する可能性が高いと予測されている。また、トレーニングが完了した後でも、出来上がったモデルを実際に使用するにはコストがかかる。モデルの規模が大きくなればなるほど、実行コストは高くなる。今年初め、銀行のモルガン・スタンレーは、Googleの検索の半分を現在のGPTスタイルのプログラムで処理した場合、年間60億ドルの追加コストがかかると推測した。モデルが大きくなればなるほど、この数字はおそらく上昇するだろう。