AIは急速に大規模化している - スタンフォード大研究機関

最新のAI指標年次報告書によると、AIシステムはますます大規模かつ複雑になっているが、技術の進歩にもかかわらず、より高いレベルの毒性も示しているとのことだ。

スタンフォード大学の人間中心のAI研究所（Institute for Human-Centered Artificial Intelligence：HAI）が編纂を主導した2022年版の報告書では、機械学習が世界中の研究開発、経済、政策決定にどのような影響を与えるかを分析している。

5年目を迎えたこの研究が強調するトレンドの1つは、おそらく当分の間流行し続けるであろう、ニューラルネットワークの大規模化だ。現在では、インターネットから収集したテラバイト単位のテキストで学習させた、数千億から数兆のパラメータを持つ言語モデルが存在する。

これらの巨大なシステムは、コンテンツの生成から開発者のコーディング支援まで、あらゆる種類のタスクをある程度こなすことができる。

言語モデルはかつてないほど高性能になったが、同時に偏りも大きくなっている。大規模な言語モデルは技術ベンチマークで新記録を樹立しているが、新しいデータによると、大規模なモデルは学習データからのバイアスを反映する能力も高いことが分かっている。

「2021年に開発された2,800億のパラメータモデルは、2018年時点の最先端とされる1億1,700万のパラメータモデルと比較して、誘発される毒性が29％増加することを示している。この毒性の増加は、能力の広範かつ大幅な増加を伴っている」と報告書は記述している。

AIはすでに、SuperGLUEやSQuADといった基本的な読解力ベンチマークにおいて、人間のパフォーマンスレベルを1%～5%上回っているものの、より複雑な言語タスクでは、AIシステムはまだ人間のパフォーマンスを達成できないが、その差は縮まってきている。

現在のディープラーニングのブームは、トロント大学のチームが畳み込みニューラルネットワークを使った画像分類コンテストで[優勝]した2012年にまでさかのぼることが多い。

コンピュータ・ビジョンやAIの他の分野のアーキテクチャはその後進化し、モデルのトレーニングや実行はより手頃になってきている。実際、画像分類システムの学習コストは63.6%減少し、AIシステムの学習時間は94.4%改善されたという。

こうしたコストが下がれば、より広い範囲で技術を採用できるようになり、需要も出てくる。2021年の世界の民間AI企業への投資総額は935億ドルで、2020年と比較すると2倍以上になっている。しかし、興味深いことに、新たに出資を受けたスタートアップの数は減り続けている。2019年は1,051社、2020年は762社、2021年は746社であった。

これらの経済的環境の変化を受けて、人材の流入と産業界が研究開発を主導するという傾向がもたらされている。2020年、博士号を取得したCS学生の5人に1人が人工知能／機械学習を専門とし、過去10年間で最も人気のある専門分野となった。2010年から2020年にかけて、米国のAI博士の大半は産業界に向かい、ごく一部が政府関係の仕事に就いた。

AIの実用化は、最先端の研究によって大きく推進される。2021年、中国はAIのジャーナル、カンファレンス、リポジトリの出版物数で引き続き世界をリードしており、3種類の出版物をすべて合計した場合、米国を63.2%上回っている。一方、AI会議とリポジトリの引用数では、米国が主要なAI大国の中で圧倒的なリードを保っている。

中国とアメリカの地政学的な対立は、研究開発に悪影響を及ぼしていないようである。AIにおける両国間の共同研究は過去最高で、2021年以降5倍に増えたという。

AI研究開発のもう一つの大きな特徴は、他のSTEM研究分野とは異なり、オープンであることだ。毎年、何千、何万という AIに関する論文は、学会などを通じてオープンソース、またはファイル共有サイトで公開されている。

機械学習研究が成熟しつつあることを示すもう一つの兆候は、ロボット研究におけるロボットアームのコストが低下していることだ。「AI Indexによると、ロボットアームの価格の中央値は過去5年間で46.2%減少しており、2017年にはアーム1本あたり42,000ドルだったものが、2021年には22,600ドルになっています。"ロボティクス研究がより身近で手頃なものになった」とレポートは記述している。

AIシステムにおける倫理的な問題への関心が高まっていることも、本レポートは触れている。懸念される問題がどこにあるのかの探求は比較的最近だが、懸念の原因の特定が、将来的にそれを回避するための強固な手法の開発につながる段階には至っていないようだ。