プログラミングAIが上級者99.5%を凌駕の衝撃

プログラミングAIがコンテストに参加した上級者99.5%を勝るスコアを出した。ソフトウェアエンジニアの仕事をこれまでになく拡張するだけでなく、初学者への障壁も取り払うことになる。

プログラミングAIが上級者99.5%を凌駕の衝撃
Licensed under the Unsplash+ License

プログラミングAIがコンテストに参加した上級者99.5%を勝るスコアを出した。ソフトウェアエンジニアの仕事をこれまでになく拡張するだけでなく、初学者への障壁も取り払うことになる。


12月6日に公開されたグーグルのAIコード生成ツール「AlphaCode 2」は、同日に発表されたAIモデル「Gemini Pro」を搭載しており、オンライン・プログラミング・コンテストに参加した参加者の99.5%を上回るスコアを記録したと報告されている。

Google DeepMindの研究者たちは、AlphaCode 2を作成するために、Gemini Proをデータセット上で微調整し、問題解決能力を強化した。このデータセットには、プログラミング競技サイトCodeForcesから取得した約15,000の問題と、人間が書いたコードのサンプル3,000万が含まれる。

このモデルは、「より質の高い」追加データセットでさらに微調整されたが、技術報告書によると、どのようなデータが使われたのか、具体的にどの程度使われたのかは明確ではないようだ。それでも、AlphaCode 2が12のCodeForcesコンテスト(合計8,000人以上のプログラマーと競った)で77の問題をテストしたところ、43%の問題を解くことができた。別の問題セットの25パーセントを解くことができた、初代のAlphaCodeから進歩している。

CodeForcesのランキングに当てはめると、AlphaCode 2は平均85パーセンタイルに位置し、つまりCodeforcesの「エキスパート」と「マスター候補」カテゴリーのちょうど中間に位置し、85パーセントの参加者よりも優れたパフォーマンスを発揮していると推定される、と研究者は主張した。

AlphaCode 2は、出場した12のコンテストのうち2つのコンテストでは、参加者の99.5パーセントを上回った。ただし、機械と人間では競争条件が異なっていた。人間は1つの問題に対して1つの解答を行うが、AlphaCode 2は各問題に対して最大10種類の解答を提出することができ、そのうちの1つが正しければ得点となる。

AlphaCode 2は荒々しい問題の解き方をしている。問題が与えられると、AlphaCode 2は約100万種類のコードサンプルを生成する。問題の説明と無関係で一致しないランダムなスクリプト、あるいは間違った答えを生成することも躊躇しない。

AlphaCode 2が作成したコードサンプルのうち、95%はフィルタリング工程で除外され、残る5万のプログラムがクラスタリング・アルゴリズムによって類似性でランク付けされ、それぞれが異なるグループに分けられる。次に、このプロセスで形成された10の主要なクラスタが、精度の予測に特化した別のGemini Proモデルを使用して評価される。こうして、10の異なるクラスターにわたるサンプルが最も優れたものから最も劣るものまで順位付けされ、各クラスターのトップにランクされたものが選ばれる。

人間のプログラマーは通常、問題を解決するためのさまざまな戦略を考え、最も有望なアイデアに絞ってそれを書き上げる。しかし、AlphaCode 2の総当たり作戦は、コンピュータ資源をたくさん使うことに依存する。「AlphaCode 2の素晴らしい結果にもかかわらず、最高の人間のコーダーのパフォーマンスに確実に到達できるシステムを見るまでには、まだまだ多くのことが必要である。我々のシステムは多くの試行錯誤を必要とし、大規模に運用するにはコストがかかりすぎる。さらに、明らかに悪いコードサンプルをフィルタリングできるかどうかに大きく依存しています」と研究者たちは認めている。

それでも、AlphaCode 2は旧AlphaCodeより大きく改善されており、サンプルを抽出する効率は1万倍以上だと研究者らは主張した。AlphaCodeが100万サンプル必要なところを、AlphaCode 2は100サンプルしか生成しないようだ。

Google DeepMindは、Gemini Proよりも大きく強力な大規模言語モデルであるGemini Ultraを使用することで、さらに優れたコード記述モデルを構築できると考えており、その能力を開発者に提供できるよう努力しているとみている。

Read more

​​イオンリテール、Cloud Runでデータ分析基盤内製化 - 顧客LTV向上と従業員主導の分析体制へ

​​イオンリテール、Cloud Runでデータ分析基盤内製化 - 顧客LTV向上と従業員主導の分析体制へ

Google Cloudが9月25日に開催した記者説明会では、イオンリテール株式会社がCloud Runを活用し顧客生涯価値(LTV)向上を目指したデータ分析基盤を内製化した事例を紹介。従業員1,000人以上がデータ分析を行う体制を目指し、BIツールによる販促効果分析、生成AIによる会話分析、リテールメディア活用などの取り組みを進めている。

By 吉田拓史
Geminiが切り拓くAIエージェントの新時代:Google Cloud Next Tokyo '24, VPカルダー氏インタビュー

Geminiが切り拓くAIエージェントの新時代:Google Cloud Next Tokyo '24, VPカルダー氏インタビュー

Google Cloudは、年次イベント「Google Cloud Next Tokyo '24」で、大規模言語モデル「Gemini」を活用したAIエージェントの取り組みを多数発表した。Geminiは、コーディング支援、データ分析、アプリケーション開発など、様々な分野で活用され、業務効率化や新たな価値創出に貢献することが期待されている。

By 吉田拓史