セールスフォースが「AI経済学者」のコードベースを公開

要点

セールスフォースは4月、AIがどのように経済設計を改善できるかを理解するための研究環境「AI Economist」を詳細に発表した。同社は、最終的にはコードベースをオープンソースで利用できるようにすることを約束しており、本日、初期バージョンのリリースを迎えた。

所得格差は、経済成長、経済機会、さらには健康にまで悪影響を及ぼすことが 研究で明らかになっています。例えば、過剰な課税は人々の働く意欲をそぎ、生産性の低下につながる可能性があります。しかし、現実の世界で税制を実験することは難しい。それは、経済理論が、人々の税に対する感受性のような検証が難しい定型化された仮定に依存していることもあるからだ。

AI Economistは、市民と政府が適応して学習するシミュレーションから最適な税制を学習する。さらに、並行して経済の進化をアルゴリズム的に比較し、労働者のスキルや行動に関する仮定を回避しながら、望ましい社会的成果を最適化する。

「このプロジェクトのムーンショットの目標は、持続可能性、生産性、平等性の向上など、現実世界の社会的成果を駆動する経済政策を推奨する強化学習フレームワークを構築することです」と、Salesforceの機械学習研究者ステファン・ゼンはブログ記事で書いている。「これを実現するためには、AIを進化させ、従来の経済的思考に挑戦し、政策立案を地に足をつけて導くことができるAIを生み出す必要があります。これらのタスクはどれも簡単なものではありませんが、それらを組み合わせることで、真のムーンショットを実現することができます」。

それを構築するのは、言うは易し、行うは易しであった。古典的な租税理論は、労働を行うことによって所得を得て、所得から効用を得るが、労働努力のコストを負担する人々に焦点を当てている。人々は技能レベルに差があると仮定されており、技能の低い労働者は生産性が低く、同じ労働量でも技能の高い労働者よりも収入が少ない。これは不平等につながり、政府にとってのジレンマは、平等を改善するためには所得の再分配が好ましいかもしれないが、増税は人々が働くことを選択する量を減らす可能性があり、特に高熟練労働者に強い影響を与える可能性があるということである。

平等と生産性のバランスをとるための分析的枠組みが提案されているが、それらのモデルは単純で静的な環境にしか適用できない。他の研究では動的なシステムを研究しているが、分析的な解を得るために前提条件を単純化していることが多い。

AIエコノミストを構成するエージェントは、実際の人々が異なる税金に対してどのように反応するかをシミュレーションするように設計されている。エージェントは、「ギャザーアンドビルド」と呼ばれる 2 次元のグリッド世界を占有し、石や木でできた家を建てて資源を集め、コインを稼ぎます。エージェントは他のエージェントと資源を交換してコインと交換することができる。ここでいう「交換」とは、エージェントが資源の単位に応じて支払うコインの数を示すことだ。さらに、エージェントは環境内を移動して、配置された資源タイルから資源を集めることができる。

エージェントは、木材と石の単位を正確に1つずつ必要とする家を建設するために、いくつかの数のコインを得る。(理論的に言えば、建設によって得られるコインは、市場がエージェントの家に置く価値を反映し、コインの総量はエージェントの集団労働によって作成された価値を反映する)。1軒あたりに獲得できるコインの数はエージェントのスキルに依存し、スキル（家を建てることで得られるコインのデフォルト数と収穫時にボーナス資源を獲得する確率に乗数をかけて決定される）はエージェントによって異なる。

エージェントはマップ上の異なる初期位置からスタートするが、これはシミュレーションで経済的不平等と特殊化を促進するための摂動だ。同じ長さの10の課税期間で構成されるエピソードの間に、エージェントは労働コストを蓄積していく。最終的にエージェントが受け取る報酬は、蓄積されたコインと蓄積された労働力に依存します。税金は各期間の終わりに徴収され、モデルに従って再分配される。

シミュレーションの各エージェントは、資源を集めたり、取引をしたり、家を建てたりしてお金を稼ぐ一方で、動きや行動を調整することで、自分の効用や幸福度を最大化することを学習している。具体的には、プランナーは、米国の連邦所得税の記述方法に類似したタックススケジュールを学習する。税は、個人の所得の各部分に税率を適用して計算され、所得ブラケットは、各エージェントが同じ税率とブラケットのカットオフに直面するように、租税政策の間で固定され、各ブラケットの税率を学習する。

プランナーはまた、所得の平等と生産性の間のトレードオフを考慮した社会福祉関数を組み込んでおり、「平等」は富の分配に関する指標（言い換えれば、課税と分配後のエージェントが所有するコインの累積数）の補数として定義される。これを行う際に、エージェントは、所得の高い納税期間と低い納税期間を交互に繰り返すような抜け穴を利用して、実効税率を下げるために、関数と納税スケジュールを「ゲーム」することを学習する。

AIプランナーとエージェントは、安定性が達成されるまで、この財政綱引きを行う。1回の実験では、何百万年にもわたる経済のシミュレーションが行われる。

これは予想通り、興味深い行動につながる。例えば、低スキルのエージェントは主に木材と石材を集めることに集中し、高スキルのエージェントは家を建てることに集中している。低スキルのエージェントは、高スキルのエージェントに資源を売ることで収入を得ており、高スキルのエージェントは建物を建てることで収入を得ることを選択しているが、高スキルのエージェントは、収集と販売だけに切り替える前に、早い段階でいくつかの家を建てている。

このような洞察は、新しい税制の枠組みを発見したり、既存の枠組みがどのようにして不平等を減らし、生産性を向上させることができるかを研究するために利用することができるとTrottは述べている。「AIエコノミストは、ポジティブな影響を与える可能性が最も高い分野に強化学習を適用するための第一歩。私たちの望みは、経済学者が情報に基づいた政策決定を行えるようになり、将来的には、政治家がこのツールを使って中間層の支援など、特定の社会的目的に最適化できるようになることだ」。

実験

AI エコノミストの性能を評価するために、チームは 2 段階のトレーニングアプローチを採用しました。第 1 段階では、税を一切適用しない「自由市場」シナリオのエージェントモデルを 2,000 万ステップで学習し、一般的な環境ダイナミクスによく適応したネットモデルを作成した。第 2 段階では、学習した税モデルの1つをアクティブにした状態で学習を再開し，各層のエージェントの所得の割合が米国経済の所得の割合とほぼ一致するようにした。

AIエコノミストのパフォーマンスを、自由市場、米国連邦政府の2018年のシングルファイラー税制、サエズ税制（フランス人の経済学者エマニュエル・サエズが提唱したもの）と呼ばれる著名な税制フレームワークの3つのベースライン政策と比較した。実験では、サエズと比較して16％の報酬向上を達成し、自由市場政策と比較して11％の生産性低下で47％の報酬向上を達成した。再分配については、すべての政策で生産性を犠牲にして平等を改善した。

米国の累進的な税率と比較して、AI Economistは、低所得者エージェントへのより高い補助金（負の税）につながる累進的な税率と逆進的な税率の混合を推奨している。特に、510コイン以上の所得に対しては最高税率を高く、160～510コインの所得に対しては税率を低く、160コイン以下の所得に対しては高税率と低税率の両方を設定した。

現実世界での実験

AI Economistの政策が，実際にお金を稼いでいる人を対象としたシミュレーションの結果を改善するかどうかを調べるために、Salesforceの共同研究者たちは、Amazon Mechanical Turkを通じて，米国に拠点を置く被験者を募集した。彼らは、「ギャザーアンドビルド」を模倣した 2 次元の世界を構築。この世界には資源が含まれているが、取引は無効になっており、家を建てるためのコストは 50% 高く設定されている。

約100人の被験者には、5分間のエピソードを4回、合計130回のゲームで構成される仕事を完了させた。各人は5ドルの基本給と最大10ドルの変動ボーナスを受け取り、ボーナスは税引き後の所得と各エピソードの終了時の人件費を反映して達成された効用（コインの数）に比例した。

研究者たちは、人間を対象とした研究の限界を認めている。例えば、被験者は他の人をブロックするような敵対的な行動をとる傾向があった。しかし、それにもかかわらず、チームは、AI Economistによって情報提供された「ラクダの背」（camelback）タックススケジュールは、サエズに匹敵する平等生産性のトレードオフを持ち、米国や自由市場のアプローチよりも平等生産性のパフォーマンスが高く、社会福祉のすべてのベースラインを有意に上回ることを発見した。

「AI駆動の税モデルは経済理論の知識を必要とせず、労働の税弾力性を推定する必要もなく、それにもかかわらず、人間の参加者とのタブララサで使用するための性能の良い税政策を学習することができました」と共著者のSocherらは論文の中で締めくくっている。「我々は税率の再調整を必要とせずにモデルを適用することができた。唯一の調整は、人間とAIエージェントの相対的な生産性を調整するために、所得ブラケットを3倍に縮小し、すべての所得ブラケットを行使できるようにすることだった......心強い移転パフォーマンスは、現実世界への適用を見出すことができるAI駆動の税モデルを構築する可能性があることを示唆している」。

今後の方向性

Socherらは、税制提案の実験を迅速化し、経済理論に基づくアイデアをテストする機能を提供するだけでなく、COVID-19の経済的余波をナビゲートするような、より複雑なシナリオにもAIエコノミストは期待できると考えている。この仮説を検証し、今後の研究を促進するために、セールスフォースでは、AIエコノミスト環境とサンプルトレーニングコードの両方を有限期間利用できるようにする予定だ。

論文の共著者らは、AIエコノミストを強化学習の実用化可能性をより強く示したものの1つと評価している。Uber、Google、AlphabetのDeepMind、OpenAI、Microsoft、Tencentなどが、ビデオやボードゲームの分野や、ロボット工学や自律走行車のような分野で、このAI技術を採用して大きな効果を上げているが、Socherらは特に、現実世界でのメリットはいまだにつかみどころのないものだと主張している。

もちろん、AIが社会的アウトカムや政策に関する予測に銀の弾丸ではないことは歴史が証明している。最近の研究では、機械学習モデルを子供、親、家庭の6つの人生のアウトカムを予測するために使用した場合、4,000以上の家庭からの13,000のデータポイントで訓練しても、あまり正確ではなかったことがわかった。3,000を超えるモデルの中で最も優れたものであっても、機械学習のどのような形にも頼らない線形回帰やロジスティック回帰よりもわずかに優れているに過ぎなかった。

そのためか、論文の中で共著者らは、AIが生成した「キャメルバック」スケジュールを実経済に適用することに明示的に注意を促している。しかし、健全な科学的判断で倫理的に使用される理論的なツールとして、AI Economistは、経済学者や政府に、研究を補強するための前例のないモデリング能力を与える可能性があるとも述べている。また、アマゾンのような企業も同じ考えを持っているようで、今年の初めには、テック大手の科学者がインフレ率の計算にAIと機械学習を適用していることを明らかにしている。

参考文献

1. Stephan Zheng et al. The AI Economist: Improving Equality and Productivity with AI-Driven Tax Policies. arXiv:2004.13332. [Submitted on 28 Apr 2020]
2. Alex Engler, "Can AI model economic choices?". Brookings Institute. Aug 6, 2020,

Image via Salesforce.