オンデバイス生成AIの台頭 専用半導体が進化

スマートフォン上で、データセンターとのやりとりがなくとも、ChatGPTのような言語AIや画像生成AIを動作させられることが当たり前になりそうだ。今後は自動車のようなソフトウェア制御の比重が高まる製品でも同様の変化が見られるだろう。

オンデバイス生成AIの台頭  専用半導体が進化
Snapdragon 8 Gen 3。出典:クアルコム

スマートフォン上で、データセンターとのやりとりがなくとも、ChatGPTのような言語AIや画像生成AIを動作させられることが当たり前になりそうだ。今後は自動車のようなソフトウェア制御の比重が高まる製品でも同様の変化が見られるだろう。


半導体大手クアルコムは、10月24~26日にハワイで開催された年次会議のSnapdragon Summitで、携帯電話向けシステムオンチップ(SoC)「Snapdragon 8 Gen 3」を発表した(*1)。この新しいSOCのハイライトの1つは、AIコンピューティングをデバイス上で実行できるようになったことだ。いわゆるエッジAIの成立である。チップメーカーの製品開発は、業界の趨勢を物語っているのかもしれない。

Snapdragon 8 Gen 3 Mobile Platform
The Snapdragon 8 gen 3 smartphone processor is backed by the world’s fastest mobile connectivity and features generative AI, console-defying mobile gaming and more.

昨年のSnapdragon 8 Gen 2では、Sensing Hubを搭載したHexagonプロセッサとオンデバイス・パーソナライゼーションに焦点が当てられた。今年は、大規模言語モデル(LLM)、大規模視覚モデル(LVM)、トランスフォーマーネットワークベースの自動音声認識(ASR)の実行に焦点が当てられた。クアルコムは、最大100億のパラメータのLLMがオンデバイスでネイティブに実行されると主張した。

LLMモデルは、スマートフォン業界最速の20トークン/秒で動作する。トークンは処理できる言語の最小単位を指す。機械学習(ML)には学習と推論の二つの区分があるが、推論をクラウドに依存する必要がなくなることを意味する。

インターネットに接続しなくても、百度のERNIE 3.5からOpenAIのWhisper、メタのLlama 2、グーグルのGeckoまで、あらゆるものを携帯電話で実行できるようになる。また、クアルコムはマイクロソフトと提携して画像生成AI「Stable Diffusion」をサポートした。オンデバイス(デバイス上で)でStable Diffusionを展開するSnapdragon 8 Gen 3は、ネットに接続することなく、1秒未満で画像を生成できる。

これは、低消費電力のバッテリー駆動デバイス、つまり携帯電話の用途では素晴らしい能力と言えるだろう。クアルコムはPCに対しても同様のチップセットを発表しており、今後は自動車のようなソフトウェア制御の比重が高まる製品でも同様の変化が見られるだろう。

クアルコムはオンデバイスAIのパッケージを「Qualcomm AI Engine」とマーケティングしている。同社はSDKも提供しており、ソフトウェア開発を省力化したハードウェアベンダーの要請に応えている。それ以外にもPytorchやGoogleのTensor Flow Liteなどのライブラリ、フレームワークをサポートしている(下図)。

Snapdragon 8 Gen 3はハイエンドスマホ向けで、ソニーやASUS、OPPO、RedMagicなどの主要スマートフォンメーカーが、次世代のフラッグシップモデルに搭載を計画中という。シャオミの「Xiaomi 14 Pro」は11月中旬にすでに市場投入されている。OnePlusは12月5日に中国・深センで新たなフラッグシップスマホ「OnePlus 12」を発表する予定だ。

あっという間のオンデバイス展開

AIの技術革新の速度は目覚ましい。今年の2〜3月には、Llamaが公開されてからたった3週間で、オープンソース開発者がLlamaの比較的軽量なモデルのiPhone上での動作を報告していた。

このときは、オンデバイスLLMはStable Diffusionの瞬間を迎えた、という表現が飛び交った。Stable Diffusionは、同様に、一般人が基礎となるソースコードにアクセスすることで、自分のハードウェアで画像生成モデルを実行できるようにしたが、LLMでも個人のデバイスだけで実行可能となる瞬間を昨年12月のChatGPTの登場から3ヶ月程度で達成してしまった。

進歩速すぎ…スマホだけで動く軽量LLMがたった3週間で爆誕
ある大規模言語モデル(LLM)がオープンソースで公開されると、すぐさま微調整が進み、スマートフォンやタブレットでの動作が確認された。界隈の課題とされたオンデバイスの軽量AIがたった3週間で生まれてしまった。

Googleの流出した内部文書によると、LLaMAの登場以降、それを基にしたオープンソースモデルが、GoogleのBardとOpenAIのChatGPTにあっという間に追いついたと主張されていた。

オープンソースのゲリラ勢がAI開発競争でGoogleとOpenAIを圧倒する?
コンサルティング会社SemiAnalysisが手に入れたGoogleの社内文書が波紋を広げている。文書は、GoogleとOpenAI/Microsoftの双方が、オープンソース陣営の「ゲリラ兵」に圧倒される可能性を示唆している。

モバイルのSoCやソフトウェアがオンデバイスAIに最適化することで、オープンソースのグループにも大きなチャンスが巡るだろうか。

あと、これは2019年に書いた記事。エッジでの計算需要、特にAIが増え、データセンターからコンピューティングが分散していく、という予測である。

エッジの逆襲 ポストモバイル時代が視る夢はなにか
5G以降は、計算処理をクラウドに依存するのではなく、デバイスとマイクロデータセンターが分散協調するエッジコンピューティングへの移行が起きる。センサーが生成する大量のデータを処理するためには、水道のように安価な機械学習が必要となる。
2019 Prediction: Post-mobile, Edge Strikes Back (1)
The future is on the edge. 5G is not element that shifts processing from the edge to the cloud, but rather infrastructure for machine distributed cooperation of edge devices. Tech Giant is expanding from large cloud to edge.

脚注

*1:SoCに搭載された「Qualcomm Hexagon NPU」のパフォーマンスは前世代から最大98%向上し、パフォーマンス/ワットが最大40%向上する、と同社はうたう。また、本機にはより小規模なニューラルネットワークや、文脈認識などの特定のアプリケーション向けの、非常に効率的なAIチップ「Qualcomm Sensing Hub」が別に搭載されており、AIパフォーマンスが最大3.5倍向上したと主張した。

Read more

新たなスエズ危機に直面する米海軍[英エコノミスト]

新たなスエズ危機に直面する米海軍[英エコノミスト]

世界が繁栄するためには、船が港に到着しなければならない。マラッカ海峡やパナマ運河のような狭い航路を通過するとき、船舶は最も脆弱になる。そのため、スエズ運河への唯一の南側航路である紅海で最近急増している船舶への攻撃は、世界貿易にとって重大な脅威となっている。イランに支援されたイエメンの過激派フーシ派は、表向きはパレスチナ人を支援するために、35カ国以上につながる船舶に向けて100機以上の無人機やミサイルを発射した。彼らのキャンペーンは、黒海から南シナ海まですでに危険にさらされている航行の自由の原則に対する冒涜である。アメリカとその同盟国は、中東での紛争をエスカレートさせることなく、この問題にしっかりと対処しなければならない。 世界のコンテナ輸送量の20%、海上貿易の10%、海上ガスと石油の8~10%が紅海とスエズルートを通過している。数週間の騒乱の後、世界の5大コンテナ船会社のうち4社が紅海とスエズ航路の航海を停止し、BPは石油の出荷を一時停止した。十分な供給があるため、エネルギー価格への影響は軽微である。しかし、コンテナ会社の株価は、投資家が輸送能力の縮小を予想している

By エコノミスト(英国)
新型ジェットエンジンが超音速飛行を復活させる可能性[英エコノミスト]

新型ジェットエンジンが超音速飛行を復活させる可能性[英エコノミスト]

1960年代以来、世界中のエンジニアが回転デトネーションエンジン(RDE)と呼ばれる新しいタイプのジェット機を研究してきたが、実験段階を超えることはなかった。世界最大のジェットエンジン製造会社のひとつであるジー・エアロスペースは最近、実用版を開発中であると発表した。今年初め、米国の国防高等研究計画局は、同じく大手航空宇宙グループであるRTX傘下のレイセオンに対し、ガンビットと呼ばれるRDEを開発するために2900万ドルの契約を結んだ。 両エンジンはミサイルの推進に使用され、ロケットや既存のジェットエンジンなど、現在の推進システムの航続距離や速度の限界を克服する。しかし、もし両社が実用化に成功すれば、超音速飛行を復活させる可能性も含め、RDEは航空分野でより幅広い役割を果たすことになるかもしれない。 中央フロリダ大学の先端航空宇宙エンジンの専門家であるカリーム・アーメッドは、RDEとは「火を制御された爆発に置き換える」ものだと説明する。専門用語で言えば、ジェットエンジンは酸素と燃料の燃焼に依存しており、これは科学者が消炎と呼ぶ亜音速の反応だからだ。それに比べてデトネーシ

By エコノミスト(英国)
ビッグテックと地政学がインターネットを作り変える[英エコノミスト]

ビッグテックと地政学がインターネットを作り変える[英エコノミスト]

今月初め、イギリス、エストニア、フィンランドの海軍がバルト海で合同演習を行った際、その目的は戦闘技術を磨くことではなかった。その代わり、海底のガスやデータのパイプラインを妨害行為から守るための訓練が行われた。今回の訓練は、10月に同海域の海底ケーブルが破損した事件を受けたものだ。フィンランド大統領のサウリ・ニーニストは、このいたずらの原因とされた中国船が海底にいかりを引きずった事故について、「意図的なのか、それとも極めて稚拙な技術の結果なのか」と疑問を呈した。 海底ケーブルはかつて、インターネットの退屈な配管と見なされていた。現在、アマゾン、グーグル、メタ、マイクロソフトといったデータ経済の巨人たちは、中国と米国の緊張が世界のデジタルインフラを分断する危険性をはらんでいるにもかかわらず、データの流れをよりコントロールすることを主張している。その結果、海底ケーブルは貴重な経済的・戦略的資産へと変貌を遂げようとしている。 海底データパイプは、大陸間インターネットトラフィックのほぼ99%を運んでいる。調査会社TeleGeographyによると、現在550本の海底ケーブルが活動

By エコノミスト(英国)