AI

進歩速すぎ…スマホだけで動く軽量LLMがたった3週間で爆誕

ある大規模言語モデル（LLM）がオープンソースで公開されると、すぐさま微調整が進み、スマートフォンやタブレットでの動作が確認された。界隈の課題とされたオンデバイスの軽量AIがたった3週間で生まれてしまった。

吉田拓史

吉田拓史

— 2 min read
進歩速すぎ…スマホだけで動く軽量LLMがたった3週間で爆誕
Photo by DeepMind

大規模言語モデル（LLM）が半ばオープンソースで公開されると、すぐさま微調整が進み、スマートフォンやタブレットでの動作が確認された。界隈の課題とされたオンデバイスの軽量LLMがたった3週間で生まれてしまった。

Alpacaというオープンソースの70億パラメータの大規模言語モデル（LLM）がiPhone 14でローカルで動作した、とマサチューセッツ工科大学（MIT）の3年生、Kevin Kwokが22日（米国時間）にツイートした。

AlpacaはMetaが2月に発表したLLaMAを、スタンフォード大学のコンピュータ科学者のグループが微調整したモデル。構築費用は「600ドル以下」であったと報告されている。

オンデバイスLLMはStable Diffusion の瞬間を迎えた、という表現が飛び交っている。Stable Diffusionは、同様に、一般人が基礎となるソースコードにアクセスすることで、自分のハードウェアで画像生成モデルを実行できるようにしたが、LLMでも個人のデバイスだけで実行可能となる瞬間を12月のChatGPTの公開から3ヶ月程度で達成してしまった。

Metaは2023年2月24日には新たなLLMである「LLaMA」を 公開 した。LLaMAはいくつかのサイズ（70億、130億、330億、650億パラメータ）で利用できるようになっていた。LLaMAのコードはオープンソースで公開されたが、「重み」（ニューラルネットワークに格納された学習済みの「知識」）は、資格を持つ研究者のみに公開されていた。（最終的にこれはひろゆきが所有するネット掲示板4chanなどでリークされた）。

この後は電撃的な速度で開発が進行した。3日後にリリースされた微調整版の対話モデルChatLLaMAは、「人間によるフィードバックを用いた強化学習 Reinforcement Learning from Human Feedback (RLHF)」を採用し、学習時間がChatGPTより15倍速いと主張した。

3月初旬、ViewRayのプリンシパル・サイエンティストのGeorgi Gerganovが軽量版（4ビット量子化でLLaMAの推論を実行する）の「llama.cpp」をGitHubで公開。Georgi GerganovはAppleシリコン搭載MacBookでllama.cppを動作させることに成功した。

3月12日、ソフトウェアアーキテクトコンサルタントのArtem Andreenkoは、llama.cppが4GB RAMのRaspberryPiで4ビット・70億パラメーターのLLaMAを実行できることを報告した。最小の単位（トークン）あたり10秒と遅い。その後も間髪入れず、iPad、iPhone、Androidでも小型モデルの実行が報告されている。

3月13日、 スタンフォード大学がLLaMA 7Bのチューニング版、Alpaca 7Bをリリース。単なるチャットボットから指示に従うことができるボットに昇華した。このAlpacaがiPadとiPhoneで実行することも上述のKevin Kwokによって、最近確認された。Alpacaを個人が再現するためのガイドもあり、クラウドコンピューティングにかかる費用は100ドル以下となっている。

ArsTechnicaのAI・機械学習担当記者であるBenj Edwardsが時系列をまとめているので参照する。

  • 2023年2月24日： Meta AIがLLaMAを発表。
  • 2023年3月2日 誰かがBitTorrentでLLaMAのモデルを流出させる。
  • 2023年3月10日 Georgi GerganovがM1 Macで実行できるllama.cppを作成する。
  • 2023年3月11日 Artem AndreenkoがRaspberry Pi 4、4GB RAM、（最小単位）あたり10秒を要する、LLaMA 7Bを（ゆっくり）実行した。
  • 2023年3月12日 node.js 実行ツール NPX 上で LLaMA 7B を実行。
  • 2023年3月13日 誰かがPixel 6でllama.cppを実行させる。これも非常に遅い。
  • 2023年3月13日、 スタンフォードが、「OpenAIの"text-davinci-003 "と似た挙動を示すが、はるかに性能の低いハードウェアで動作する」LLaMA 7Bのチューニング版、Alpaca 7Bをリリース。

もちろん、現在のLLMのほとんどがそうであるように、LLaMAも幻覚、偏見、ステレオタイプという同じ問題に悩まされている。研究者たちは、ブラックボックスの安全性を確保するという問題をまだ解決していない。

Read more

米国のEV革命は失速？［英エコノミスト］

米国のEV革命は失速？［英エコノミスト］

米国人は自動車が大好きだ。バッテリーで走らない限りは。ピュー・リサーチ・センターが7月に発表した世論調査によると、電気自動車（EV）の購入を検討する米国人は5分の2以下だった。充電網が絶えず拡大し、選べるEVの車種がますます増えているにもかかわらず、このシェアは前年をわずかに下回っている。 この言葉は、相対的な無策に裏打ちされている。2023年第3四半期には、バッテリー電気自動車（BEV）は全自動車販売台数の8％を占めていた。今年これまでに米国で販売されたEV（ハイブリッド車を除く）は100万台に満たず、自動車大国でない欧州の半分強である（図表参照）。中国のドライバーはその4倍近くを購入している。

By エコノミスト(英国)
労働者の黄金時代：雇用はどう変化しているか［英エコノミスト］

労働者の黄金時代：雇用はどう変化しているか［英エコノミスト］

2010年代半ばは労働者にとって最悪の時代だったという点では、ほぼ誰もが同意している。ロンドン・スクール・オブ・エコノミクスの人類学者であるデイヴィッド・グレーバーは、「ブルシット・ジョブ（どうでもいい仕事）」という言葉を作り、無目的な仕事が蔓延していると主張した。2007年から2009年にかけての世界金融危機からの回復には時間がかかり、豊かな国々で構成されるOECDクラブでは、労働人口の約7％が完全に仕事を失っていた。賃金の伸びは弱く、所得格差はとどまるところを知らない。 状況はどう変わったか。富裕国の世界では今、労働者は黄金時代を迎えている。社会が高齢化するにつれて、労働はより希少になり、より良い報酬が得られるようになっている。政府は大きな支出を行い、経済を活性化させ、賃上げ要求を後押ししている。一方、人工知能（AI）は労働者、特に熟練度の低い労働者の生産性を向上させており、これも賃金上昇につながる可能性がある。例えば、労働力が不足しているところでは、先端技術の利用は賃金を上昇させる可能性が高い。その結果、労働市場の仕組みが一変する。 その理由を理解するために、暗

By エコノミスト(英国)
中国は地球を救うのか、それとも破壊するのか？［英エコノミスト］

中国は地球を救うのか、それとも破壊するのか？［英エコノミスト］

脳腫瘍で余命いくばくもないトゥー・チャンワンは、最後の言葉を残した。その中国の気象学者は、気候が温暖化していることに気づいていた。1961年、彼は共産党の機関紙『人民日報』で、人類の生命を維持するための条件が変化する可能性があると警告した。 しかし彼は、温暖化は太陽活動のサイクルの一部であり、いつかは逆転するだろうと考えていた。トゥーは、化石燃料の燃焼が大気中に炭素を排出し、気候変動を引き起こしているとは考えなかった。彼の論文の数ページ前の『人民日報』のその号には、ニヤリと笑う炭鉱労働者の写真が掲載されていた。中国は欧米に経済的に追いつくため、工業化を急いでいた。 今日、中国は工業大国であり、世界の製造業の4分の1以上を擁する。しかし、その進歩の代償として排出量が増加している。過去30年間、中国はどの国よりも多くの二酸化炭素を大気中に排出してきた（図表1参照）。調査会社のロディウム・グループによれば、中国は毎年世界の温室効果ガスの4分の1以上を排出している。これは、2位の米国の約2倍である（ただし、一人当たりで見ると米国の方がまだひどい）。

By エコノミスト(英国)