名前から性別を識別するAIサービスが炎上

名前、メールアドレス、ユーザー名をAIの助けを借りて分析することで、誰かの性別を特定することを約束した新サービス、Genderifyが混乱を引き起こしている。同社は先週、Product Huntでローンチしたが、ユーザーがそのアルゴリズムに偏りや不正確さを発見したことから、ソーシャルメディア上で多くの注目を集めた。

例えば、Genderifyに「Meghan Smith」と入力すると、サービスは評価を提供している。「男性：39.60％、女性：39.60％。39.60% 女性 60.40%」。 しかし、この名前を「Dr. Meghan Smith」に変更すると、評価は次のように変わる。「男性 75.90% 女性 24.10%」 。名前の前に "Dr "を付けた他の名前も同様の結果が得られるが、入力は一般的に男性に偏っている。例えば、"Test@test.com "は96.90％が男性で、"Mrs Joan smith "は94.10％が男性だという。

このサービスに対する反発は非常に大きく、Genderifyは完全にシャットダウンすることとなった。Genderify.comはオフラインになり、無料のAPIにはアクセスできなくなった。

Genderifyの問題点は、これらの仮定を自動化していることだ。男性/女性に個人をソートしながら、とても大きなスケールでそれらを適用することだ。

これによる潜在的な弊害は、Genderifyがどのように、どこで適用されたかによって異なる。例えば、サービスが医療用チャットボットに統合されていた場合、ユーザーの性別についての仮定は、誤解を招くような医療アドバイスをチャットボットが行うことにつながっていたかもしれない。

Genderifyの作成者であるArevik Gasparyanは、プロダクトハントで次のように語っている。「Genderifyは、顧客データの強化、マーケティングデータベースのセグメンテーション、人口統計など、分析に役立つデータを取得することができます」。同じコメント欄で、Gasparyanは、バイアスについて、一部のユーザーの懸念を認めたが、具体的な答えは提示しなかった。

あるユーザーは質問した。「私が男性でも女性でもないことを選んだとしますが、どのようにアプローチしますか？どのようにして性別差別を回避していますか？どのようにジェンダーバイアスに取り組んでいますか？」。これに対してGasparyanは、サービスは「すでに存在する名前と性別のバイナリデータベース」に基づいて決定を行い、同社は「名前/ユーザー名/電子メールの概念を性別のアイデンティティから分離することで、トランスジェンダーと非バイナリーの訪問者のための体験を改善する方法を積極的に探している」と答えていた。