Metaがオープンソース言語AIのリリースを予告 「競争環境を一変」とAIチーフ［吉田拓史］

Metaはオープンソースの大規模言語モデル（LLM）を間もなくリリースすると発表した。OpenAI / MicrosoftとGoogleとは異なる開放型のアプローチが競争環境を一変する、と同社は強調した。

Metaは企業がカスタマイズできる新しい商用バージョンを「間もなく」リリースすると、とFinancial Times (FT) は報じた。

FTによると、MetaのチーフAIサイエンティストであるヤン・ルカンは、最近開催されたカンファレンスで、「AIの競争環境は、今後数カ月、あるいは数週間のうちに完全に変わるだろう。Metaは、個人や企業など、ユーザーのタイプに特化したAIチャットボットを作るかもしれない」と語った。

MetaのAIモデルへのアクセスは、公開当初は無料のはずだが、将来的には変更されるかもしれない。FTが引用したMetaに詳しい情報筋によると、同社は最終的に、企業顧客がモデルの変更やカスタマイズを望む場合、料金を請求する可能性があるという。

OpenAI / MicrosoftとGoogleは、エンタープライズ向けLLMでは、クラウド部門と組み合わせたビジネスを模索しているようで、ソースコードは公開していない。Metaは、一定の制約を与えながらもLLM「LLaMA」をオープンソース化するという独自の戦略を採用してきた。今回の予告は、その方針がさらに強化されたこと示唆している可能性がある。

LLaMAとは、Large Language Model Meta AIの略で、Meta AIが2023年2月にリリースしたLLMである。70億パラメータから650億パラメータまで、さまざまなサイズのモデルが学習された。LLaMAの開発者は、130億パラメータ・モデルのほとんどのNLPベンチマークにおける性能が、はるかに大規模なGPT-3（1,750億パラメータ）を上回り、650億パラメータの最大モデルはGoogleのPaLMやDeepMindのChinchillaのような最先端のモデルに匹敵すると報告した。

Introducing LLaMA: A foundational, 65-billion-parameter language model

Today, we’re releasing our LLaMA (Large Language Model Meta AI) foundational model with a gated release. LLaMA is more efficient and competitive with previously published models of a similar size on existing benchmarks.

LLaMAはすでに業界にインパクトを与えてきた。このモデルは許可を得た研究者にだけ公開されたが、最終的にスタンフォードのチームがLLaMAを基に開発した亜種のモデルがオープンソース化された。公開されてからたった3 週間でスマートフォンのようなエッジデバイスで動作が確認された、というセンセーションを引き起こした。様々なエンジニアが亜種のモデルを使い、競うように実装を行った結果である。

進歩速すぎ…スマホだけで動く軽量LLMがたった3週間で爆誕

ある大規模言語モデル（LLM）がオープンソースで公開されると、すぐさま微調整が進み、スマートフォンやタブレットでの動作が確認された。界隈の課題とされたオンデバイスの軽量AIがたった3週間で生まれてしまった。

アクシオン｜次世代ビジネスメディア吉田拓史

Googleのエンジニアが「この競争には堀がない」と警告した内部文書が漏洩した。LLaMAのリリースによって、OpenAIやGoogleのLLMにおけるリードは数週間で埋められてしまったことに言及している。Google DeepMindのCEO、デミス・ハサビスはこの文書が本物であることを認めている。

オープンソースのゲリラ勢がAI開発競争でGoogleとOpenAIを圧倒する？

コンサルティング会社SemiAnalysisが手に入れたGoogleの社内文書が波紋を広げている。文書は、GoogleとOpenAI/Microsoftの双方が、オープンソース陣営の「ゲリラ兵」に圧倒される可能性を示唆している。

アクシオン｜次世代ビジネスメディア吉田拓史

エディンバラ大学のYao Fu率いる研究チームは、大規模言語モデル（LLM）のパフォーマンスを比較するための独自のベンチマークを用いた評価を行った。LLaMaの650億パラメーターのモデル「65B LLaMa」は、GPT-3を用いた自然言語処理エンジンと近い性能を持ち、適切に調整すればChatGPTを再現できる可能性があると指摘した。

GitHub - FranxYao/chain-of-thought-hub: Benchmarking large language models’ complex reasoning ability with chain-of-thought prompting

Benchmarking large language models' complex reasoning ability with chain-of-thought prompting - GitHub - FranxYao/chain-of-thought-hub: Benchmarking large language models' complex reasoning…

GitHubFranxYao

オープンソースLLMの競争相手も出てきている。LLaMAの亜種RedPajamaを開発していた新興企業Togetherは、LLaMAにまつわるMetaが設けた制約を回避するため、2,000万ドル(約27億2,000万円)を調達し、「完全にオープンソースのモデル」の構築を進めようとしている。