UAEが生成AI競争で台頭:米大手と互角の戦い

UAEが生成AIの世界的な競争で、米大手と肩を並べている。際限なく湧き出るオイルマネーは、資本集約的な生成AIの開発にとても向いているのかもしれない。

UAEが生成AI競争で台頭:米大手と互角の戦い
2023年5月11日木曜日、フランス・パリのエリゼ宮で、エマニュエル・マクロン大統領(写真なし)との会談中に手を振るアラブ首長国連邦(UAE)のシェイク・ムハンマド・ビン・ザーイド・アル・ナヒヤーン大統領(左)。写真家 ネイサン・レイン/ブルームバーグ

UAEが生成AIの世界的な競争で、米大手と肩を並べている。際限なく湧き出るオイルマネーは、資本集約的な生成AIの開発にとても向いているのかもしれない。


アラブ首長国連邦の首都アブダビに拠点を置く研究機関、技術イノベーション研究所(TII)は9月上旬、MMLUベンチマークのGPT-3.5を上回る、1800億のパラメータを持つ大規模言語モデル(LLM)である「Falcon 180B」を発表した。

TIIは、Llama 2やGPT-3.5さえも上回り、GPT-4のパフォーマンスにはまだ及ばないものの、GoogleのPaLM 2-Largeと同等の結果を示している、と主張した。モデルの商用利用は基本認められているものの、特にクラウド、ホスティングサービスに対してはライセンス制限がある。

前回のモデルより大幅に大規模化し、米大手テクノロジー企業と同等のレベルに達しているようだ。Falcon 180Bは、TIIの初期モデルであるFalcon 40Bをベースにしている。40Bが384個のA100 Nvidiaチップで訓練されたのに対し、180BはAWS上のGPUが最大4096個使用されたという。Falcon 180Bは、Metaが開発するLlama 2モデルの4倍にあたる3.5兆個のトークンで学習されている。

LLMの競争は、GPTやPaLMのようなプロプライエタリ(専売的)なモデルを、Llama 2のような商用理由可能な「オープンソース」モデルが猛追している段階にある。数ヶ月前には、Googleのエンジニアが、自社のモデルがオープンソース勢にたった3週間で追いつかれた状況を危ぶむブログが流出し、話題となった。

オープンソースのゲリラ勢がAI開発競争でGoogleとOpenAIを圧倒する?
コンサルティング会社SemiAnalysisが手に入れたGoogleの社内文書が波紋を広げている。文書は、GoogleとOpenAI/Microsoftの双方が、オープンソース陣営の「ゲリラ兵」に圧倒される可能性を示唆している。

アブダビはアラビア語重視のLLMも先月末に発表していた。UAEの技術持ち株会社「G42」傘下の最先端企業Inceptionは8月末、130億個のパラメータを持つ世界最高品質のアラビア語LLMの「Jais」をオープンソースで発表した。3,950億トークンという膨大なアラビア語と英語のデータセットで訓練されたJaisは、アラビア語世界のAIにおける大きな進歩を象徴しており、特に4億人以上のアラビア語話者に対応するように設計されている。

Invent a Better Everyday | Dubai, UAE | G42 | Meet Jais, The World’s Most Advanced Arabic LLM Open Sourced by G42’s Inception
Meet “Jais”, The World’s Most Advanced Arabic Large Language Model Open Sourced by G42’s Inception

Jaisは、Inceptionと、AIに特化した初の大学院研究大学であるモハメッド・ビン・ザイード人工知能大学(MBZUAI)、そしてハイテク企業のセレブラス・システムズとの共同研究の成果である。アブダビで開発されたJaisは、G42とセレブラスが製作したスーパーコンピュータ「コンドル・ギャラクシー(Condor Galaxy)」を使用しているという。セレブラスは今年7月、G42に9台のスーパーコンピュータを相互接続した画期的なネットワークを提供する1億ドルの契約を結んでいた。

64のCS-2ノードに5,400万コアを搭載し、7万2,000以上のAMD EPYC™コアによってサポートされ、FP-16で合計4エクサFLOPSのAIコンピューティングを実現するCondor Galaxy 1 AIスーパーコンピューターの完成予想図。(画像:Rebecca Lewington/ Cerebras Systems)
64のCS-2ノードに5,400万コアを搭載し、7万2,000以上のAMD EPYC™コアによってサポートされ、FP-16で合計4エクサFLOPSのAIコンピューティングを実現するCondor Galaxy 1 AIスーパーコンピューターの完成予想図。(画像:Rebecca Lewington/ Cerebras Systems)

スーパーコンピューターの使途はAIだけではないようだ。G42の子会社であるG42 Cloudのタラル・アルカイッシCEOは、次のように述べている。「G42とセレブラスが共有するビジョンは、コンドル・ギャラクシーがヘルスケア、エネルギー、気候変動対策など、社会の喫緊の課題に対処するために利用されることです」

UAEのAI戦略

2017年にAI省を設立したUAEは、テクノロジーと人工知能分野での世界的地位の強化に向けたコミットメントを示す「Generative AI Guide」を発表した。このガイドでは、テクノロジーの悪影響を抑制するための規制の枠組みも強調している。

UAEは、NVIDIAのGPUの大口購入者となっている。フィナンシャル・タイムズ(FT)が引用した人物は、UAEは中国や米国に依存することなく、自国の計算能力とプラットフォームを所有し、管理することを目指していると述べた。

追記:Falcon 18Bのスペック

Falcon モデルにおける特筆すべき特徴は、メモリ使用量を最適化する「マルチクエリーアテンション」である。Georgi GerganovはApple M2 Ultra上でこのモデルを実行したと主張。X / Twitter上ではPC上で推論の実行を試す人々が続出している。

Huggingfaceの研究者lémentine Fourrierは、「4ビットのFalcon-180Bとbfloat-16のものとの間に」推論品質に差がないことを指摘した。これは、ユーザーが必要とするメモリを75%削減できることを意味する。

HyperWriteのMatt Shumerは、その生成能力についてコメントし、オープンソースのモデルが近いうちにGPT-4の性能レベルに近づく可能性を示唆した。一方、NVIDIAのジム・ファン博士は、Falcon 180Bのソースコード・データに対する最小限のトレーニングを批判し、AIの推論とツールの習得における重要性を強調した。

Falcon 180Bのベースバージョンとチャットバージョンの両方は、対話型のチャットデモとRefinedWebデータセットとともに、Hugging Face Hubでアクセス可能。

Spread Your Wings: Falcon 180B is here
We’re on a journey to advance and democratize artificial intelligence through open source and open science.

Read more

アドビ、日本語バリアブルフォント「百千鳥」発表  往年のタイポグラフィー技法をデジタルで再現

アドビ、日本語バリアブルフォント「百千鳥」発表 往年のタイポグラフィー技法をデジタルで再現

アドビは4月10日、日本語のバリアブルフォント「百千鳥」を発表した。レトロ調の手書き風フォントで、太さ(ウェイト)の軸に加えて、字幅(ワイズ)の軸を組み込んだ初の日本語バリアブルフォント。近年のレトロブームを汲み、デザイン現場の様々な要望に応えることが期待されている。

By 吉田拓史
新たなスエズ危機に直面する米海軍[英エコノミスト]

新たなスエズ危機に直面する米海軍[英エコノミスト]

世界が繁栄するためには、船が港に到着しなければならない。マラッカ海峡やパナマ運河のような狭い航路を通過するとき、船舶は最も脆弱になる。そのため、スエズ運河への唯一の南側航路である紅海で最近急増している船舶への攻撃は、世界貿易にとって重大な脅威となっている。イランに支援されたイエメンの過激派フーシ派は、表向きはパレスチナ人を支援するために、35カ国以上につながる船舶に向けて100機以上の無人機やミサイルを発射した。彼らのキャンペーンは、黒海から南シナ海まですでに危険にさらされている航行の自由の原則に対する冒涜である。アメリカとその同盟国は、中東での紛争をエスカレートさせることなく、この問題にしっかりと対処しなければならない。 世界のコンテナ輸送量の20%、海上貿易の10%、海上ガスと石油の8~10%が紅海とスエズルートを通過している。数週間の騒乱の後、世界の5大コンテナ船会社のうち4社が紅海とスエズ航路の航海を停止し、BPは石油の出荷を一時停止した。十分な供給があるため、エネルギー価格への影響は軽微である。しかし、コンテナ会社の株価は、投資家が輸送能力の縮小を予想している

By エコノミスト(英国)
新型ジェットエンジンが超音速飛行を復活させる可能性[英エコノミスト]

新型ジェットエンジンが超音速飛行を復活させる可能性[英エコノミスト]

1960年代以来、世界中のエンジニアが回転デトネーションエンジン(RDE)と呼ばれる新しいタイプのジェット機を研究してきたが、実験段階を超えることはなかった。世界最大のジェットエンジン製造会社のひとつであるジー・エアロスペースは最近、実用版を開発中であると発表した。今年初め、米国の国防高等研究計画局は、同じく大手航空宇宙グループであるRTX傘下のレイセオンに対し、ガンビットと呼ばれるRDEを開発するために2900万ドルの契約を結んだ。 両エンジンはミサイルの推進に使用され、ロケットや既存のジェットエンジンなど、現在の推進システムの航続距離や速度の限界を克服する。しかし、もし両社が実用化に成功すれば、超音速飛行を復活させる可能性も含め、RDEは航空分野でより幅広い役割を果たすことになるかもしれない。 中央フロリダ大学の先端航空宇宙エンジンの専門家であるカリーム・アーメッドは、RDEとは「火を制御された爆発に置き換える」ものだと説明する。専門用語で言えば、ジェットエンジンは酸素と燃料の燃焼に依存しており、これは科学者が消炎と呼ぶ亜音速の反応だからだ。それに比べてデトネーシ

By エコノミスト(英国)