UAEが生成AI競争で台頭:米大手と互角の戦い

UAEが生成AIの世界的な競争で、米大手と肩を並べている。際限なく湧き出るオイルマネーは、資本集約的な生成AIの開発にとても向いているのかもしれない。

UAEが生成AI競争で台頭:米大手と互角の戦い
2023年5月11日木曜日、フランス・パリのエリゼ宮で、エマニュエル・マクロン大統領(写真なし)との会談中に手を振るアラブ首長国連邦(UAE)のシェイク・ムハンマド・ビン・ザーイド・アル・ナヒヤーン大統領(左)。写真家 ネイサン・レイン/ブルームバーグ

UAEが生成AIの世界的な競争で、米大手と肩を並べている。際限なく湧き出るオイルマネーは、資本集約的な生成AIの開発にとても向いているのかもしれない。


アラブ首長国連邦の首都アブダビに拠点を置く研究機関、技術イノベーション研究所(TII)は9月上旬、MMLUベンチマークのGPT-3.5を上回る、1800億のパラメータを持つ大規模言語モデル(LLM)である「Falcon 180B」を発表した。

TIIは、Llama 2やGPT-3.5さえも上回り、GPT-4のパフォーマンスにはまだ及ばないものの、GoogleのPaLM 2-Largeと同等の結果を示している、と主張した。モデルの商用利用は基本認められているものの、特にクラウド、ホスティングサービスに対してはライセンス制限がある。

前回のモデルより大幅に大規模化し、米大手テクノロジー企業と同等のレベルに達しているようだ。Falcon 180Bは、TIIの初期モデルであるFalcon 40Bをベースにしている。40Bが384個のA100 Nvidiaチップで訓練されたのに対し、180BはAWS上のGPUが最大4096個使用されたという。Falcon 180Bは、Metaが開発するLlama 2モデルの4倍にあたる3.5兆個のトークンで学習されている。

LLMの競争は、GPTやPaLMのようなプロプライエタリ(専売的)なモデルを、Llama 2のような商用理由可能な「オープンソース」モデルが猛追している段階にある。数ヶ月前には、Googleのエンジニアが、自社のモデルがオープンソース勢にたった3週間で追いつかれた状況を危ぶむブログが流出し、話題となった。

オープンソースのゲリラ勢がAI開発競争でGoogleとOpenAIを圧倒する?
コンサルティング会社SemiAnalysisが手に入れたGoogleの社内文書が波紋を広げている。文書は、GoogleとOpenAI/Microsoftの双方が、オープンソース陣営の「ゲリラ兵」に圧倒される可能性を示唆している。

アブダビはアラビア語重視のLLMも先月末に発表していた。UAEの技術持ち株会社「G42」傘下の最先端企業Inceptionは8月末、130億個のパラメータを持つ世界最高品質のアラビア語LLMの「Jais」をオープンソースで発表した。3,950億トークンという膨大なアラビア語と英語のデータセットで訓練されたJaisは、アラビア語世界のAIにおける大きな進歩を象徴しており、特に4億人以上のアラビア語話者に対応するように設計されている。

Invent a Better Everyday | Dubai, UAE | G42 | Meet Jais, The World’s Most Advanced Arabic LLM Open Sourced by G42’s Inception
Meet “Jais”, The World’s Most Advanced Arabic Large Language Model Open Sourced by G42’s Inception

Jaisは、Inceptionと、AIに特化した初の大学院研究大学であるモハメッド・ビン・ザイード人工知能大学(MBZUAI)、そしてハイテク企業のセレブラス・システムズとの共同研究の成果である。アブダビで開発されたJaisは、G42とセレブラスが製作したスーパーコンピュータ「コンドル・ギャラクシー(Condor Galaxy)」を使用しているという。セレブラスは今年7月、G42に9台のスーパーコンピュータを相互接続した画期的なネットワークを提供する1億ドルの契約を結んでいた。

64のCS-2ノードに5,400万コアを搭載し、7万2,000以上のAMD EPYC™コアによってサポートされ、FP-16で合計4エクサFLOPSのAIコンピューティングを実現するCondor Galaxy 1 AIスーパーコンピューターの完成予想図。(画像:Rebecca Lewington/ Cerebras Systems)
64のCS-2ノードに5,400万コアを搭載し、7万2,000以上のAMD EPYC™コアによってサポートされ、FP-16で合計4エクサFLOPSのAIコンピューティングを実現するCondor Galaxy 1 AIスーパーコンピューターの完成予想図。(画像:Rebecca Lewington/ Cerebras Systems)

スーパーコンピューターの使途はAIだけではないようだ。G42の子会社であるG42 Cloudのタラル・アルカイッシCEOは、次のように述べている。「G42とセレブラスが共有するビジョンは、コンドル・ギャラクシーがヘルスケア、エネルギー、気候変動対策など、社会の喫緊の課題に対処するために利用されることです」

UAEのAI戦略

2017年にAI省を設立したUAEは、テクノロジーと人工知能分野での世界的地位の強化に向けたコミットメントを示す「Generative AI Guide」を発表した。このガイドでは、テクノロジーの悪影響を抑制するための規制の枠組みも強調している。

UAEは、NVIDIAのGPUの大口購入者となっている。フィナンシャル・タイムズ(FT)が引用した人物は、UAEは中国や米国に依存することなく、自国の計算能力とプラットフォームを所有し、管理することを目指していると述べた。

追記:Falcon 18Bのスペック

Falcon モデルにおける特筆すべき特徴は、メモリ使用量を最適化する「マルチクエリーアテンション」である。Georgi GerganovはApple M2 Ultra上でこのモデルを実行したと主張。X / Twitter上ではPC上で推論の実行を試す人々が続出している。

Huggingfaceの研究者lémentine Fourrierは、「4ビットのFalcon-180Bとbfloat-16のものとの間に」推論品質に差がないことを指摘した。これは、ユーザーが必要とするメモリを75%削減できることを意味する。

HyperWriteのMatt Shumerは、その生成能力についてコメントし、オープンソースのモデルが近いうちにGPT-4の性能レベルに近づく可能性を示唆した。一方、NVIDIAのジム・ファン博士は、Falcon 180Bのソースコード・データに対する最小限のトレーニングを批判し、AIの推論とツールの習得における重要性を強調した。

Falcon 180Bのベースバージョンとチャットバージョンの両方は、対話型のチャットデモとRefinedWebデータセットとともに、Hugging Face Hubでアクセス可能。

Spread Your Wings: Falcon 180B is here
We’re on a journey to advance and democratize artificial intelligence through open source and open science.

Read more

宮崎市が実践するゼロトラスト:Google Cloud 採用で災害対応を強化し、市民サービス向上へ

宮崎市が実践するゼロトラスト:Google Cloud 採用で災害対応を強化し、市民サービス向上へ

Google Cloudは10月8日、「自治体におけるゼロトラスト セキュリティ 実現に向けて」と題した記者説明会を開催し、自治体向けにゼロトラストセキュリティ導入を支援するプログラムを発表した。宮崎市の事例では、Google WorkspaceやChrome Enterprise Premiumなどを導入し、災害時の情報共有の効率化などに成功したようだ。

By 吉田拓史
​​イオンリテール、Cloud Runでデータ分析基盤内製化 - 顧客LTV向上と従業員主導の分析体制へ

​​イオンリテール、Cloud Runでデータ分析基盤内製化 - 顧客LTV向上と従業員主導の分析体制へ

Google Cloudが9月25日に開催した記者説明会では、イオンリテール株式会社がCloud Runを活用し顧客生涯価値(LTV)向上を目指したデータ分析基盤を内製化した事例を紹介。従業員1,000人以上がデータ分析を行う体制を目指し、BIツールによる販促効果分析、生成AIによる会話分析、リテールメディア活用などの取り組みを進めている。

By 吉田拓史
Geminiが切り拓くAIエージェントの新時代:Google Cloud Next Tokyo '24, VPカルダー氏インタビュー

Geminiが切り拓くAIエージェントの新時代:Google Cloud Next Tokyo '24, VPカルダー氏インタビュー

Google Cloudは、年次イベント「Google Cloud Next Tokyo '24」で、大規模言語モデル「Gemini」を活用したAIエージェントの取り組みを多数発表した。Geminiは、コーディング支援、データ分析、アプリケーション開発など、様々な分野で活用され、業務効率化や新たな価値創出に貢献することが期待されている。

By 吉田拓史