「安いAI」を巡る熾烈な競争が勃発

ChatGPTによって大規模言語モデル(LLM)の可能性が世に知らしめられた。しかし、LLMはお金がかかりすぎる。次は、いかにAIを安くするか、だ。すでに熾烈な競争が繰り広げられている。

「安いAI」を巡る熾烈な競争が勃発
Licensed under the Unsplash+ License

ChatGPTによって大規模言語モデル(LLM)の可能性が世に知らしめられた。しかし、今のところ、LLMはお金がかかりすぎる。次は、いかにAIを安くするか、だ。すでに熾烈な競争が繰り広げられている。


対話型AIは高い。ChatGPTが行うLLMの展開方法では、1回の応答で数セントかかる、と言われている。AI研究所のOpenAIがChatGPTを実行するためのコンピューティングパワーのコストは、1日あたり10万ドルという試算もある。Googleの親会社Alphabetの会長であるジョン・ヘネシーは、同社のチャットボット「Bard」のようなAIの応答は、通常のキーワード検索よりも10倍以上のコストがかかりうると主張した。

このため、いかにAIを安くするかが鍵となっている。次の要所は、LLMのトレーニングと推論の両方のコストを削減して、あらゆるアプリケーションで使えるようにすることである。

OpenAIは、早くもこの「安いAI」をめぐる競争に先鞭をつけた。1日、ChatGPTと音声文字起こしAIのWhisperがAPIで利用可能になったと発表したが、「システム全体の最適化により、12月以降ChatGPTは90%のコスト削減を達成した」と主張。価格は1,000トークンあたり0.002ドルで、既存のGPT-3.5モデルよりも10倍安いという。

新興勢力も出てきている。先週、スタンフォード大学AIラボの研究生Ying Sheng、カリフォルニア大学バークレー校のLianmin Zheng、および他のAI研究者数人が、GPT-3などのLLMを非常に限られたGPUメモリで実行するための生成エンジン、FlexGenを発表した。Ying ShengらはMeta AIの無償LLM、OPT-175Bモデルを16GBのGPU1台で動かすことに成功したという。

今回の研究では、高スループットの生成推論を実現するための効率的なオフロード(負荷軽減)戦略に着目している。FlexGenは、GPU、CPU、ディスクの計算を統合することで、ハードウェアリソースに制約があっても柔軟に構成することができる。FlexGenのアクセラレーションによる大規模モデルは、1,750億のパラメータで1トークン/秒とまだ遅く見えるが、クライアントでの計算の完了を実現した事自体に大きな価値があるだろう。

先週、コペンハーゲンIT大学のShyam SudhakaranとMiguel González-Duqueらは、AIでスーパーマリオのステージを生成する「MarioGPT」を発表した。「土管多め」「敵少なめ」などの自然言語で未知のコースが作ることができる。このツールもまた、単一のGPUで学習可能な軽量化されたGPT-3モデルに基づいて構築されている。

MarioGPTが採用する、軽量化プロセスの「Distillation(蒸留)」は、ここ数年で人気を博している。これは、大きく複雑なモデルの予測を、小さなモデルに還元することを意味する。例えば、GoogleのBERTの小型版であるDistilBERTは、BERTの性能レベルの95%を達成しながら、パラメータが40%少なく、60%速く実行される。

現在、各社が発表しているモデルのほとんどは、事前学習済みだ。これにより、都度トレーニングを行う必要がなく微調整でモデルを最適化できるため、計算資源を節約することになる。ただ、Trasnformerの学習自体は、依然として恐ろしいほどのコストを要し、テック大手だけが許容可能とも言われる。

一部のAIプラットフォームは、こうしたモデルのスケーリング問題を解決する手法に常に取り組んでいる。Google Brainの元社員Aidan GomezとNick Frosstが設立したカナダのスタートアップCohere AIは、昨年Googleと提携し、強力なLLMのためのプラットフォームを構築した。Cohereは、通常必要とされるインフラストラクチャやMLの深い専門知識なしに、強力なLLMを扱うためのプラットフォームを開発者に提供することを目指している。論文では、Google Cloudが最近発表したCloud TPU v4 Pods上に展開したFAXフレームワークが、LLMを数千億パラメータに拡張するという課題にどのように対処しているかをCohereの技術者が示している。

昨年12月、Amazon SageMakerは、39.7%の高速化を含む多くの最適化を行う「Sharded Data Parallelism(シャーデッドデータ並列処理)」と呼ばれる新しい学習技術を発表した。データ並列化のようなコンセプトは、トレーニング時間とコストを削減しながら、エネルギー消費が少なく、市場投入までの期間を短縮するという、一石二鳥の効果がある。

参考文献

  1. Shyam Sudhakaran et al. MarioGPT: Open-Ended Text2Level Generation through Large Language Models. arXiv:2302.05981 cs.AI.
  2. Victor Sanh et al. DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter.  arXiv:1910.01108 cs.CL.

Read more

アドビ、日本語バリアブルフォント「百千鳥」発表  往年のタイポグラフィー技法をデジタルで再現

アドビ、日本語バリアブルフォント「百千鳥」発表 往年のタイポグラフィー技法をデジタルで再現

アドビは4月10日、日本語のバリアブルフォント「百千鳥」を発表した。レトロ調の手書き風フォントで、太さ(ウェイト)の軸に加えて、字幅(ワイズ)の軸を組み込んだ初の日本語バリアブルフォント。近年のレトロブームを汲み、デザイン現場の様々な要望に応えることが期待されている。

By 吉田拓史
新たなスエズ危機に直面する米海軍[英エコノミスト]

新たなスエズ危機に直面する米海軍[英エコノミスト]

世界が繁栄するためには、船が港に到着しなければならない。マラッカ海峡やパナマ運河のような狭い航路を通過するとき、船舶は最も脆弱になる。そのため、スエズ運河への唯一の南側航路である紅海で最近急増している船舶への攻撃は、世界貿易にとって重大な脅威となっている。イランに支援されたイエメンの過激派フーシ派は、表向きはパレスチナ人を支援するために、35カ国以上につながる船舶に向けて100機以上の無人機やミサイルを発射した。彼らのキャンペーンは、黒海から南シナ海まですでに危険にさらされている航行の自由の原則に対する冒涜である。アメリカとその同盟国は、中東での紛争をエスカレートさせることなく、この問題にしっかりと対処しなければならない。 世界のコンテナ輸送量の20%、海上貿易の10%、海上ガスと石油の8~10%が紅海とスエズルートを通過している。数週間の騒乱の後、世界の5大コンテナ船会社のうち4社が紅海とスエズ航路の航海を停止し、BPは石油の出荷を一時停止した。十分な供給があるため、エネルギー価格への影響は軽微である。しかし、コンテナ会社の株価は、投資家が輸送能力の縮小を予想している

By エコノミスト(英国)
新型ジェットエンジンが超音速飛行を復活させる可能性[英エコノミスト]

新型ジェットエンジンが超音速飛行を復活させる可能性[英エコノミスト]

1960年代以来、世界中のエンジニアが回転デトネーションエンジン(RDE)と呼ばれる新しいタイプのジェット機を研究してきたが、実験段階を超えることはなかった。世界最大のジェットエンジン製造会社のひとつであるジー・エアロスペースは最近、実用版を開発中であると発表した。今年初め、米国の国防高等研究計画局は、同じく大手航空宇宙グループであるRTX傘下のレイセオンに対し、ガンビットと呼ばれるRDEを開発するために2900万ドルの契約を結んだ。 両エンジンはミサイルの推進に使用され、ロケットや既存のジェットエンジンなど、現在の推進システムの航続距離や速度の限界を克服する。しかし、もし両社が実用化に成功すれば、超音速飛行を復活させる可能性も含め、RDEは航空分野でより幅広い役割を果たすことになるかもしれない。 中央フロリダ大学の先端航空宇宙エンジンの専門家であるカリーム・アーメッドは、RDEとは「火を制御された爆発に置き換える」ものだと説明する。専門用語で言えば、ジェットエンジンは酸素と燃料の燃焼に依存しており、これは科学者が消炎と呼ぶ亜音速の反応だからだ。それに比べてデトネーシ

By エコノミスト(英国)