UAEが生成AI競争で台頭：米大手と互角の戦い

UAEが生成AIの世界的な競争で、米大手と肩を並べている。際限なく湧き出るオイルマネーは、資本集約的な生成AIの開発にとても向いているのかもしれない。

アラブ首長国連邦の首都アブダビに拠点を置く研究機関、技術イノベーション研究所（TII）は9月上旬、MMLUベンチマークのGPT-3.5を上回る、1800億のパラメータを持つ大規模言語モデル（LLM）である「Falcon 180B」を発表した。

TIIは、Llama 2やGPT-3.5さえも上回り、GPT-4のパフォーマンスにはまだ及ばないものの、GoogleのPaLM 2-Largeと同等の結果を示している、と主張した。モデルの商用利用は基本認められているものの、特にクラウド、ホスティングサービスに対してはライセンス制限がある。

前回のモデルより大幅に大規模化し、米大手テクノロジー企業と同等のレベルに達しているようだ。Falcon 180Bは、TIIの初期モデルであるFalcon 40Bをベースにしている。40Bが384個のA100 Nvidiaチップで訓練されたのに対し、180BはAWS上のGPUが最大4096個使用されたという。Falcon 180Bは、Metaが開発するLlama 2モデルの4倍にあたる3.5兆個のトークンで学習されている。

LLMの競争は、GPTやPaLMのようなプロプライエタリ（専売的）なモデルを、Llama 2のような商用理由可能な「オープンソース」モデルが猛追している段階にある。数ヶ月前には、Googleのエンジニアが、自社のモデルがオープンソース勢にたった3週間で追いつかれた状況を危ぶむブログが流出し、話題となった。

アブダビはアラビア語重視のLLMも先月末に発表していた。UAEの技術持ち株会社「G42」傘下の最先端企業Inceptionは8月末、130億個のパラメータを持つ世界最高品質のアラビア語LLMの「Jais」をオープンソースで発表した。3,950億トークンという膨大なアラビア語と英語のデータセットで訓練されたJaisは、アラビア語世界のAIにおける大きな進歩を象徴しており、特に4億人以上のアラビア語話者に対応するように設計されている。

Jaisは、Inceptionと、AIに特化した初の大学院研究大学であるモハメッド・ビン・ザイード人工知能大学（MBZUAI）、そしてハイテク企業のセレブラス・システムズとの共同研究の成果である。アブダビで開発されたJaisは、G42とセレブラスが製作したスーパーコンピュータ「コンドル・ギャラクシー（Condor Galaxy）」を使用しているという。セレブラスは今年7月、G42に9台のスーパーコンピュータを相互接続した画期的なネットワークを提供する1億ドルの契約を結んでいた。

スーパーコンピューターの使途はAIだけではないようだ。G42の子会社であるG42 Cloudのタラル・アルカイッシCEOは、次のように述べている。「G42とセレブラスが共有するビジョンは、コンドル・ギャラクシーがヘルスケア、エネルギー、気候変動対策など、社会の喫緊の課題に対処するために利用されることです」

UAEのAI戦略

2017年にAI省を設立したUAEは、テクノロジーと人工知能分野での世界的地位の強化に向けたコミットメントを示す「Generative AI Guide」を発表した。このガイドでは、テクノロジーの悪影響を抑制するための規制の枠組みも強調している。

UAEは、NVIDIAのGPUの大口購入者となっている。フィナンシャル・タイムズ（FT）が引用した人物は、UAEは中国や米国に依存することなく、自国の計算能力とプラットフォームを所有し、管理することを目指していると述べた。

追記：Falcon 18Bのスペック

Falcon モデルにおける特筆すべき特徴は、メモリ使用量を最適化する「マルチクエリーアテンション」である。Georgi GerganovはApple M2 Ultra上でこのモデルを実行したと主張。X / Twitter上ではPC上で推論の実行を試す人々が続出している。

Huggingfaceの研究者lémentine Fourrierは、「4ビットのFalcon-180Bとbfloat-16のものとの間に」推論品質に差がないことを指摘した。これは、ユーザーが必要とするメモリを75％削減できることを意味する。

HyperWriteのMatt Shumerは、その生成能力についてコメントし、オープンソースのモデルが近いうちにGPT-4の性能レベルに近づく可能性を示唆した。一方、NVIDIAのジム・ファン博士は、Falcon 180Bのソースコード・データに対する最小限のトレーニングを批判し、AIの推論とツールの習得における重要性を強調した。

Falcon 180Bのベースバージョンとチャットバージョンの両方は、対話型のチャットデモとRefinedWebデータセットとともに、Hugging Face Hubでアクセス可能。