研究者が顔の表情のデータセットにバイアスがある証拠を発見

要点

研究者らは、幸福、怒り、驚きなどの表現を検出するためにAIシステムを訓練するためによく使用されるデータセットが、特定の人口集団に対して偏っていると主張している。arxiv.orgに公開されたプレプリント研究では、ケンブリッジ大学と中東工科大学の共著者が、Real-world Affective Faces Database (RAF-DB)とCelebAの2つのオープンソースのデータセットでバイアス（偏り）の証拠を見つけました。

機械学習アルゴリズムは、多数派に向けて目的を最適化するような訓練サンプルを提供されているため、一部では偏りが生じます。明示的に修正しない限り、機械学習アルゴリズムのパフォーマンスは少数派、つまりサンプル数の少ない人々に対して悪くなります。顔の表情分類のような領域では、訓練セットに人種、性別、年齢などの属性に関する情報が含まれていることはほとんどないため、スキューを補正することは困難です。しかし、属性情報を提供している訓練セットでさえ、一般的には不均等に分布しています。

RAF-DBには、顔の表情と属性のアノテーションを持つインターネット上の数万枚の画像が含まれており、CelebAには、40種類の属性アノテーションを持つ10,177人の画像が20万2,599枚以上含まれています。どちらに偏りがあるかを判断するために、研究者たちはランダムなサブセットをサンプリングし、顔の向きが一致するように画像の位置を揃えてトリミングしました。次に、分類器を使用して、精度（モデルが正しく予測した割合）と公平性（分類器が性別、年齢、民族などの属性に対して公平であるかどうか）を測定しました。

RAF-DBからの画像のサブセットでは、77.4％という大多数の被験者が白人であるのに対し、アジア人は15.5％、アフリカ系アメリカ人はわずか7.1％であったと研究者らは報告しています。このサブセットは、女性が56.3％、男性が43.7％と、性別にも偏りが見られました。精度は当然のことながら、一部の少数派（アジア系女性59.1％、アフリカ系アメリカ人女性61.6％）では低いものから、多数派（白人男性65.3％）では高いものまであり、公平性の指標では、人種（88.1％）では低いが、性別（97.3％）では全体的に高いことがわかりました。

CelebAサブセットでは、研究者たちは、笑顔の人と笑顔でない人の2つのクラスを区別するために、より単純な分類器を訓練しました。笑顔でない男性は38.6％、笑顔でない女性は61.4％であり、データセットにはかなりの偏りがあったことに注意が必要であります。この結果、分類器の精度は若い女性では93.7％であったが、年配の男性（90.7％）と女性（92.1％）ではそれほど高くありませんでした。

「今日までに、顔の表情認識タスクのためのデータセットは非常に多くの種類と数が存在しています。しかし、これらのデータセットの中には、性別、年齢、民族などのセンシティブな属性の点で、人間の集団に均等に分布する画像や動画が含まれていることを考慮して取得されたものは事実上ありません」と、共著者は書いています。

顔の表情データセットに明らかな偏りがあることは、規制の必要性を強調しているが、多くの人はそう主張するだろう。少なくとも1つの感情認識を専門とするAIスタートアップEmteqは、この技術の悪用を防ぐための法律を要求しています。Association for Psychological Scienceが委託した研究では、感情は様々な方法で表現されるため、表情から人がどのように感じているかを推測するのは難しいと指摘している。また、ニューヨーク大学を拠点にAIの社会への影響を研究している研究機関「AI Now Institute」は2019年の報告書で、顔の表情分類器が雇用の意思決定や保険料の設定に非倫理的に利用されていると警告しています。

「これらの技術がロールアウトされていると同時に、多くの研究があることを示している...人々はあなたが感じている感情とあなたの顔が見える方法の間にこの一貫した関係を持っていることを実質的な証拠はありません」とAI Nowの共同創立者ケイト-クロフォードは、最近のインタビューでBBCに語りました。

考文献

Tian Xu et al. Investigating Bias and Fairness in Facial Expression Recognition. arXiv:2007.10075.

Photo by Arturo Madrid on Unsplash