研究者がAIの「常識的」な推論のためのゲームベースのベンチマークを提案

オックスフォード大学の研究者らが、AIエージェントの常識的推論能力をベンチマークするための環境である「WordCraft」を提案。Little Alchemy 2という、材料を混ぜ合わせて新しいアイテムを作るゲームをベースに、WordCraftは軽量で、実世界のセマンティクスにインスパイアされた実体と関係に基づいて構築されている。

研究者がAIの「常識的」な推論のためのゲームベースのベンチマークを提案

先週開催された機械学習に関する国際会議「ICML 2020」に採択された論文では、ユニバーシティ・カレッジ・ロンドンとオックスフォード大学の研究者が、AIエージェントの常識的推論能力をベンチマークするための環境である「WordCraft」を提案している。Little Alchemy 2という、材料を混ぜ合わせて新しいアイテムを作るゲームをベースに、WordCraftは軽量で、実世界のセマンティクスにインスパイアされた実体と関係に基づいて構築されている、と研究者たちは述べている。

研究者が指摘するように、パーソナルアシスタントや家庭用ロボットには、迅速に学習し、新しい状況にうまく一般化できるエージェントが必要とされている。これは、世界の常識や一般的な知識を使って推論する能力がなければ、おそらく不可能だろう。例えば、汚れた灰皿を見たことがない一般的な家事を行うことを任されたエージェントは、灰皿を掃除する方法やペットに食べさせないようにする方法など、合理的な行動を知る必要があるだろう。

WordCraftと並行して、研究者らは、エージェントのポリシーを導くために外部のナレッジグラフからの情報を利用するエージェントアーキテクチャを紹介している(ナレッジグラフとは、主語の専門家がAIモデルの助けを借りて作成したドメインのモデルである)。WordCraftのレシピが実世界の共通エンティティ間のセマンティクスに基づいていることを考えると、研究者らは、知識グラフに条件付けをすることで、エージェントの学習を常識的なセマンティクスとの相互作用に偏ったポリシーに制約することで、より効率的な学習が可能になるはずだと考えている。

実験では、すべての有効なレシピのセットを訓練セットとテストセットに分割し、ゼロショットの一般化性能に焦点を当てた。また、WordCraftの同じ難易度設定で人間のベースラインを収集し、常識的な知識と一般的な知識を使って達成できるゼロショット性能の推定値とした。

論文によると、彼らのエージェント・アーキテクチャは、知識グラフを持たないエージェントと同等の成功率を、より少ないトレーニング・ステップで達成したが、最終的には、トレーニングが進むにつれて同等のレベルのパフォーマンスに到達した。WordCraftを、ユーザーが可能な限り多くの実体を発見しなければならないオリジナルの『Little Alchemy 2』のより長い地平線の設定に拡張することは、常識に基づいた探索を研究するための興味深い設定になるかもしれません」と研究者は記述している。「この研究で得られたアイデアは、NLEのようなタスク固有の知識の大規模なコーパスに関連した、より複雑な強化学習タスクにも役立つと考えています。この研究では、利用可能なコーパスから知識グラフを自動的に構築する方法や、そのようなコーパス内の自然言語テキストを検索して直接条件付けするエージェントの研究をさらに進める必要がある」。

Photo by Stem List on Unsplash

Read more

AI時代のエッジ戦略 - Fastly プロダクト責任者コンプトンが展望を語る

AI時代のエッジ戦略 - Fastly プロダクト責任者コンプトンが展望を語る

Fastlyは、LLMのAPI応答をキャッシュすることで、コスト削減と高速化を実現する「Fastly AI Accelerator」の提供を開始した。キップ・コンプトン最高プロダクト責任者(CPO)は、類似した質問への応答を再利用し、効率的な処理を可能にすると説明した。さらに、コンプトンは、エッジコンピューティングの利点を活かしたパーソナライズや、エッジにおけるGPUの経済性、セキュリティへの取り組みなど、FastlyのAI戦略について語った。

By 吉田拓史
宮崎市が実践するゼロトラスト:Google Cloud 採用で災害対応を強化し、市民サービス向上へ

宮崎市が実践するゼロトラスト:Google Cloud 採用で災害対応を強化し、市民サービス向上へ

Google Cloudは10月8日、「自治体におけるゼロトラスト セキュリティ 実現に向けて」と題した記者説明会を開催し、自治体向けにゼロトラストセキュリティ導入を支援するプログラムを発表した。宮崎市の事例では、Google WorkspaceやChrome Enterprise Premiumなどを導入し、災害時の情報共有の効率化などに成功したようだ。

By 吉田拓史
​​イオンリテール、Cloud Runでデータ分析基盤内製化 - 顧客LTV向上と従業員主導の分析体制へ

​​イオンリテール、Cloud Runでデータ分析基盤内製化 - 顧客LTV向上と従業員主導の分析体制へ

Google Cloudが9月25日に開催した記者説明会では、イオンリテール株式会社がCloud Runを活用し顧客生涯価値(LTV)向上を目指したデータ分析基盤を内製化した事例を紹介。従業員1,000人以上がデータ分析を行う体制を目指し、BIツールによる販促効果分析、生成AIによる会話分析、リテールメディア活用などの取り組みを進めている。

By 吉田拓史
Geminiが切り拓くAIエージェントの新時代:Google Cloud Next Tokyo '24, VPカルダー氏インタビュー

Geminiが切り拓くAIエージェントの新時代:Google Cloud Next Tokyo '24, VPカルダー氏インタビュー

Google Cloudは、年次イベント「Google Cloud Next Tokyo '24」で、大規模言語モデル「Gemini」を活用したAIエージェントの取り組みを多数発表した。Geminiは、コーディング支援、データ分析、アプリケーション開発など、様々な分野で活用され、業務効率化や新たな価値創出に貢献することが期待されている。

By 吉田拓史