ChatGPTに強力なライバル:DeepMindのSparrow

Alphabet傘下のAI研究所DeepMindが開発するチャットボット「Sparrow」は、市場投入時には、ChatGPTより優れた製品になる可能性がある。Sparrowは、証拠となる出典を示し、嘘やなりすましのようなリスクを抑制する工夫をしている。

ChatGPTに強力なライバル:DeepMindのSparrow
Photo by DeepMind

Alphabet傘下のAI研究所DeepMindが開発するチャットボット「Sparrow」は、市場投入時には、ChatGPTより優れた製品になる可能性がある。Sparrowは、証拠となる出典を示し、嘘やなりすましのようなリスクを抑制する工夫をしている。


DeepMindのデミス・ハサビスCEOが、米TIME誌のインタビューの中でChatGPTの対抗馬となるチャットボット「Sparrow」を開発中であることを明かした。DeepMindはSparrowのプライベートベータ版を2023年中にリリースする予定だ。

チャットボットは通常、インターネットからかき集めたテキストで訓練した大規模言語モデル(LLM)によって動いている。これらのモデルは、少なくとも表面上は一貫性があり文法的に正しい文章の段落を生成することができ、ユーザーからの質問やプロンプトに応答することができる。

Sparrowの特徴的な点は、他と比較してLLMのサイズが小さいことだ。9月に投稿された未査読論文によると、Sparrowは、テキストを生成するのに(他のLLMが持つような)1,000億以上のパラメータは必要ないと主張したDeepMind独自の言語モデル、Chinchillaをベースにしている。Chinchillaのパラメータ数は700億で、推論と微調整を比較的簡単に行えるようになっている。LLMは大きければ大きいほど性能がいいというのが多数派が支持する仮説だった。ChatGPTの背後にあるGPT-3のパラメータ数は1,750億で、GPT-4は100兆に達するという噂もあるほどだ。

Sparrowは、質問に対し事実の主張を示す情報源からの証拠を提供する。研究者が行った試験では、事実関係の質問に対して、Sparrowは78%の確率で適切な証拠を提供することができた(図表参照)。ChatGPTとSparrowを分かつ点は、Sparrowがインターネットを検索することだ。Sparrowの回答の一部は、Google検索に問い合わせ、返された検索結果のHTMLウェブページをスクレイピングすることによって構築される。出典の明示は、Sparrowの背後でGoogle検索が見つけたウェブページのリンクであると論文は説明する。

質問に対して出典を証拠として提示して回答するSparrow. Amelia Glaese et al(2022).
質問に対して出典を証拠として提示して回答するSparrow. Amelia Glaese et al(2022).

エージェントは対話の文脈で追加質問に答える事もできる。Sparrowは上記の例文の中で「What do they do up there?」のtheyはISS(国際宇宙ステーション)の宇宙飛行士のことだと正しく推論している。そしてウィキペディアから正しい情報の一節をコピーして、その出典へのリンクとともに示した。

DeepMindはChatGPT同様、「人間によるフィードバックを用いた強化学習 Reinforcement Learning from Human Feedback (RLHF)」を採用している。具体的には、研究者らは特定の質問に対するチャットボットの回答を、回答の関連性や有用性、ルール違反の有無などに基づいて評価する人を募った。適用されるルールとは、例えば、「人間になりすましたり、偽ったりしてはいけない」という規則のことを指す。

Sparrowからルール違反を引き出そうとする敵対的な調査では、規則に違反したのはわずか8%だった。上記の宇宙飛行士に関する対話例では、ユーザーがSparrowに宇宙へ行くかどうかを尋ねると、Sparrowは、自分は人間ではなくコンピュータ・プログラムなので、宇宙へは行けないと答えた。これは規則に正しく従っている証拠である。

このスコアは、エージェントの今後の出力にフィードバックされ、何度も繰り返される。このルールは、ソフトウェアの挙動をコントロールし、安全で有用にするための重要な要素である。現存するチャットボットは、しばしばデータセットから悪い特徴を学習し、攻撃的、人種差別的、性差別的な見解を再生産したり、ソーシャルメディアやインターネットフォーラムでよく見られるフェイクニュースや陰謀を吹き込んだりすることがある。また、質問によっては嘘もつく。

参考文献

  1. Amelia Glaese et al. Improving alignment of dialogue agents via targeted human judgements. arXiv:2209.14375 cs.LG. https://doi.org/10.48550/arXiv.2209.14375

Read more

新たなスエズ危機に直面する米海軍[英エコノミスト]

新たなスエズ危機に直面する米海軍[英エコノミスト]

世界が繁栄するためには、船が港に到着しなければならない。マラッカ海峡やパナマ運河のような狭い航路を通過するとき、船舶は最も脆弱になる。そのため、スエズ運河への唯一の南側航路である紅海で最近急増している船舶への攻撃は、世界貿易にとって重大な脅威となっている。イランに支援されたイエメンの過激派フーシ派は、表向きはパレスチナ人を支援するために、35カ国以上につながる船舶に向けて100機以上の無人機やミサイルを発射した。彼らのキャンペーンは、黒海から南シナ海まですでに危険にさらされている航行の自由の原則に対する冒涜である。アメリカとその同盟国は、中東での紛争をエスカレートさせることなく、この問題にしっかりと対処しなければならない。 世界のコンテナ輸送量の20%、海上貿易の10%、海上ガスと石油の8~10%が紅海とスエズルートを通過している。数週間の騒乱の後、世界の5大コンテナ船会社のうち4社が紅海とスエズ航路の航海を停止し、BPは石油の出荷を一時停止した。十分な供給があるため、エネルギー価格への影響は軽微である。しかし、コンテナ会社の株価は、投資家が輸送能力の縮小を予想している

By エコノミスト(英国)
新型ジェットエンジンが超音速飛行を復活させる可能性[英エコノミスト]

新型ジェットエンジンが超音速飛行を復活させる可能性[英エコノミスト]

1960年代以来、世界中のエンジニアが回転デトネーションエンジン(RDE)と呼ばれる新しいタイプのジェット機を研究してきたが、実験段階を超えることはなかった。世界最大のジェットエンジン製造会社のひとつであるジー・エアロスペースは最近、実用版を開発中であると発表した。今年初め、米国の国防高等研究計画局は、同じく大手航空宇宙グループであるRTX傘下のレイセオンに対し、ガンビットと呼ばれるRDEを開発するために2900万ドルの契約を結んだ。 両エンジンはミサイルの推進に使用され、ロケットや既存のジェットエンジンなど、現在の推進システムの航続距離や速度の限界を克服する。しかし、もし両社が実用化に成功すれば、超音速飛行を復活させる可能性も含め、RDEは航空分野でより幅広い役割を果たすことになるかもしれない。 中央フロリダ大学の先端航空宇宙エンジンの専門家であるカリーム・アーメッドは、RDEとは「火を制御された爆発に置き換える」ものだと説明する。専門用語で言えば、ジェットエンジンは酸素と燃料の燃焼に依存しており、これは科学者が消炎と呼ぶ亜音速の反応だからだ。それに比べてデトネーシ

By エコノミスト(英国)
ビッグテックと地政学がインターネットを作り変える[英エコノミスト]

ビッグテックと地政学がインターネットを作り変える[英エコノミスト]

今月初め、イギリス、エストニア、フィンランドの海軍がバルト海で合同演習を行った際、その目的は戦闘技術を磨くことではなかった。その代わり、海底のガスやデータのパイプラインを妨害行為から守るための訓練が行われた。今回の訓練は、10月に同海域の海底ケーブルが破損した事件を受けたものだ。フィンランド大統領のサウリ・ニーニストは、このいたずらの原因とされた中国船が海底にいかりを引きずった事故について、「意図的なのか、それとも極めて稚拙な技術の結果なのか」と疑問を呈した。 海底ケーブルはかつて、インターネットの退屈な配管と見なされていた。現在、アマゾン、グーグル、メタ、マイクロソフトといったデータ経済の巨人たちは、中国と米国の緊張が世界のデジタルインフラを分断する危険性をはらんでいるにもかかわらず、データの流れをよりコントロールすることを主張している。その結果、海底ケーブルは貴重な経済的・戦略的資産へと変貌を遂げようとしている。 海底データパイプは、大陸間インターネットトラフィックのほぼ99%を運んでいる。調査会社TeleGeographyによると、現在550本の海底ケーブルが活動

By エコノミスト(英国)