与信審査アルゴリズムの改善要求を飲んでも融資は得られない

吉田拓史

2021年1月4日 — 3 min read

予測モデルが従業員の採用から融資の承認に至るまでの意思決定を行うために配備されるにつれ、その意思決定を説明し、影響を受ける個人への修正の推奨（リコース）を提供するアルゴリズムの設計に重点が置かれるようになってきた。例えば、ある人がモデルによって融資を拒否された場合、その人はその理由とそれに対処するために何ができるかを知らされるべきである。学術的な研究論文ではいくつかのリコース生成アルゴリズムが提案されているが、これらのアルゴリズムが一貫して結果を改善するかどうかは未解決のままだった。

ハーバード大学とマイクロソフトの研究者による最新研究では、リコース生成アルゴリズムが結果を改善しないという強い証拠が見つかった。それは、銀行や金融機関などの利害関係者がモデルを再教育して更新したり、データの新しいパターンに適応するためにフレームワークを使用したりすると、アルゴリズムによって生成されたリコースが無効になる傾向があるからだ。また、これらの意思決定モデルを訓練するために使用されるデータは、データの修正、リコースの介入などにより、時間的、地理的、その他の種類の変化を受けるためだ。

共著者らは、時事問題に触発されて、AI分類器モデルを用いて成績を予測する問題を考えた。彼らは、ヨルダンとクウェートにまたがる学校からなるデータセット上で、ヨルダンの学校から収集した訓練例を用いて分類器を訓練し、クウェートの学校に展開した。

1つの仮定のシナリオでは、クウェートの生徒に予測された成績を向上させるためのリコースを提供し、生徒が成績予測のために再申請したときには、クウェートの学校のデータを含んで、訓練データセットが更新されると仮定した。2つ目のシナリオでは、研究者たちは、最初の訓練データをヨルダンではなくクウェートからのデータに入れ替えた。

最初のシナリオで最先端のリコース生成技術を適用すると、ヨルダンのデータセットで訓練された分類器から不合格の成績を受けたクウェートの生徒116人に説明が提供された。しかし、学生が推奨事項に従った上で成績予測のために再申請した場合、クウェートの生徒のデータを含んでデータセットが更新された後、分類器はわずか28.3％の学生に対して有利な予測を行うことができなかった。2つ目のシナリオでは、同じリコース生成技術を用いて66人の学生に推奨事項を提供したが、この推奨事項により、60.6%の学生が良い成績を得ている。

別の実験では、エラーが発生しやすいドイツのクレジットデータセットで分類器を訓練し、ローン申請者の信用度を判定した。成績予測問題に同じリコース生成技術を適用したところ、1,000人の志願者のうち900人にリコースが提供されていたことがわかった。しかし、わずかな変更を加えて修正されたデータセット上で分類器を再訓練した場合、推奨されたリコースを実行した後でも、22％しかローン申請は受け入れられなかったという。

最後の1つのサンプルでは、共著者らは、収入、年齢、申請方法のデータを用いて、候補者がローンを返済するかどうかを予測する分類器のベンチマークを行った。この分類器を合成データセット上で訓練したところ、1,024人の申込者のうち261人（年齢を考慮した場合）または522人（年齢という変数を考慮しない場合）が不利なモデル予測をしたと研究者らは報告している。しかし、リコース生成は候補者の可能性を大幅に向上させるものではなかった。彼らはリコース生成技術によって収入を増やすように指示されていただろうが、収入を増やしても、分類器は彼らの0％から8％しかローンを返済すると予測しなかっただろう。

研究者らは、彼らの研究を全体として捉えると、分布のシフトが、生成されたレコースの「有意な無効化」を引き起こし、意思決定者の信頼を危険にさらす可能性があることを示していると主張している。「分布のシフトがリコースやカウンターファクチュアルな説明を無効にするという問題は、初期モデルの特性というよりも、現在のレコース発見技術の直接的な結果であるように思われます」と、研究者らは書いています。「既存の技術の欠点に悩まされず、分配シフトにも頑健な、新しいリコース発見戦略を開発することは興味深いことでしょう」。

Photo by Alexander Mils on Unsplash