数理モデルが「数学破壊兵器」に変わる 前提の誤りやデータのバイアスの増幅

数学者のCathy O'Neilは、人々や社会に害をなす数理モデルを「数学破壊兵器」と呼びます。それが弱者からの搾取、格差の固定化と拡大、人々の政治的分断等をもたらすためです。

原題は、"Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy"で「数学破壊兵器」というかなり刺々しいものです。邦題の『あなたを支配し、社会を破壊する、AI・ビッグデータの罠』は言い換えが過剰であるように感じます。

Cathy O'Neilは学部生としてカリフォルニア大学バークレー校で学び、1999年にハーバード大学院で数学を専攻し、博士号を取得しました。その後MITおよびBarnard Collegeの数学部門で職を務め、代数学を研究しました。彼女は2007年に学界を去り、当時最高峰のヘッジファンドD. E. Shawでの2年間を含め、金融業界で4年間働きました。金融の世界に幻滅した後、オニールはウォール街の占領運動に関わるようになりました。電子商取引スタートアップでのデータサイエンティストとして働きました。

つまり、著者のO'Neilは、アカデミックであり、ヘッジファンドのクオンツであり、電子商取引のスタートアップのデータサイエンティストでもあります。彼女は常に、データサイエンスが必要になる最も経済的にホットな場所に身を置いており、この書籍は、インサイダーの告発的な意味合いを持っています。

この本は、社会を管理するためにアルゴリズムに依存する問題に焦点を当てています。たとえば、ワシントンDCは教育制度がうまくいっていなかったため、教師の「付加価値」を測定するアルゴリズムを考案しました。そして、それに基づき最も低い付加価値の教師が解雇されました。これに関する基本的な問題は、解雇された教師が実際に低パフォーマンスであったかどうかのチェックがないことでした。また、本書の中で引用されたケーススタディのように、教師のパフォーマンスがかなり高い場合、彼らが担当した生徒のグループが非常に高いスコアを示し、これが逆に、改善を示すのは難しい結果を生み出し、教師の実力（あるいは付加価値）が過小評価されることもありました。

O'Neilは、AIとアルゴリズムが採用されているさまざまなケーススタディを提示します。彼女が指摘するように、アルゴリズムは多数の統計を処理し、特定の人物に大きな影響を与えます。良い雇用が得られないこと、低い信用スコア、テロリストの疑い、または、実力不足の教師としての評価などを、判別するのです。アルゴリズムは、誰かの人生をひっくり返すことができるスコアを出します。

アルゴリズムが広く使用されている別の方法は、再犯予測や犯罪が発生する可能性のある場所の予測です。予測的警察システムのPredPol（プレドポル）は、Danielle Ensignらの研究によれば、ソフトウェアは単に「フィードバックループ」を引き起こし、その地域の真の犯罪率に関係なく、警官が特定の地域（通常は人種的少数派が多い地域）に繰り返し送られることを引き起こす。より多くの警官がそこに送られたという理由だけで犯罪が増加する可能性を考慮せずに、ある地域の犯罪率を過大評価することになるとEnsignらは説明しています。

本書では言及されませんが、「人間のバイアスよりアルゴリズムのバイアスの方が修復が容易」という意見があることは注目に値します。シカゴ大学教授のSendhil Mullainathanは、人間社会に染み込んだ、人種や性別に対する偏見を取り除くよりも、アルゴリズムを修正するコストの方が遥かに低いことを、自身が長年取り組んできた研究を引き合いにして、主張しています。適切に設計されたマシンインテリジェンスは、一貫性があり、最適な意思決定に役立っており、近年噴出する課題は、器械による知性が適切に設計されていないことに基づいているのです。

O'Neilも本書で同様の考え方を提示しています。「ビッグデータのプロセスは過去を体系化します。ビッグデータは未来を発明しません。それを行うには道徳的な想像力が必要であり、それは人間だけが提供できるものです。 私たちは、より良い価値をアルゴリズムに明示的に埋め込み、倫理的指導に従うビッグデータモデルを作成する必要があります。 利益よりも公正さを優先することを意味することもあります」（吉田抄訳）。

彼女は、中立・公正のように見えるアルゴリズムにも、作り手の「見解」や「目的」が埋め込まれており、ときにはアルゴリズムと対象となる人々の間で、フィードバックループが生じる、と主張します。「最も厄介なのは、差別を強化することです。貧しい学生が、彼の郵便番号のおかげで、融資モデルが彼をあまりにも危険だとみなしてローンを受け取れない場合、彼はその後、彼を貧困から引き離すことができる種類の教育から切り離されます 、そして悪質なスパイラルが続きます。 モデルは幸運を支え、虐げられた人を罰し、『民主主義のための有毒なカクテル』を作り出しています」（吉田抄訳）。

なぜ、彼女が人々や社会に害をなす数理モデルを「数学破壊兵器」と呼ぶのかといえば、弱者からの搾取、格差の固定化と拡大、人々の政治的分断等をもたらすためです。そして、今の世界は、なんとなくそのような様相を示しているように見えます。

余談ですが、O'Neilは、D. E. Shaw時代にはLarry Summersと働いた時期もあると本人のブログで説明しています。Summersは、生物学的な違いのために、男性は数学や科学で女性よりも優れている、と主張する（諸説あり）ことで大騒ぎを引き起こした過去があり、50人中1人女性クオンツだった彼女と仕事をするのは皮肉だった、と記述しています。

Photo by CMDR Shane on Unsplash