MITの研究者が ImageNet データセットに「系統的な」欠点を発見

MITの研究者は、よく知られているImageNetデータセットには「系統的なアノテーションの問題」があり、ベンチマークデータセットとして使用した場合には、根拠となる真実や直接観測との間にずれが生じると結論付けています。

MITの研究者が ImageNet データセットに「系統的な」欠点を発見

MITの研究者は、よく知られているImageNetデータセットには「系統的なアノテーションの問題」があり、ベンチマークデータセットとして使用した場合には、根拠となる真実や直接観測との間にずれが生じると結論付けています。

「我々の分析では、ノイズの多いデータ収集パイプラインが、結果として得られるベンチマークと、それがプロキシとしての役割を果たす実世界のタスクとの間で、どのようにして系統的なズレを引き起こしうるかを明確に示しています」。“From ImageNet to Image Classification: Contextualizing Progress on Benchmarks.”と題された論文には、次のように書かれています。「我々は、スケーラブルでありながら、より正確な真実を捉えるアノテーションパイプラインを開発することが、今後の研究の重要な道であると考えています」。

スタンフォード大学ビジョンラボが2009年のコンピュータビジョンとパターン認識の会議(CVPR)でImageNet発表したとき、それまでに存在していた多くの画像データセットよりもはるかに大規模なデータセットでした。ImageNetのデータセットには数百万枚の写真が含まれており、2年以上の歳月をかけて作成されました。ImageNetは、データラベルにWordNet階層を使用しており、物体認識モデルのベンチマークとして広く利用されています。2017年までは、ImageNetを用いた年次大会もコンピュータビジョンの分野を前進させる役割を果たしていました。

しかし、ImageNetの「ベンチマークタスクのズレ」を綿密に調べた結果、MITのチームは、ImageNetの写真の約20%に複数のオブジェクトが含まれていることを発見した、と主張しています。複数のオブジェクト認識モデルを分析した結果、写真に複数のオブジェクトが含まれていると、一般的な精度が10%低下することが判明しました。これらの問題の核心は、ImageNetのような大規模な画像データセットを作成するために使用されるデータ収集パイプラインにあると著者らは述べています。

共著者でMITの博士号候補者であるShibani Santurkarは、国際機械学習会議(ICML)での発表で次のように述べています。「全体的に、このパイプラインは、単一のImageNetラベルだけでは必ずしもImageNet画像の内容を捉えるのに十分ではない可能性があることを示唆しています」

「このように、これは、モデルに実行を促す特徴の面でも、その性能をどのように評価するかの面でも、ImageNetベンチマークと実世界の物体認識タスクとの間にミスアライメントを引き起こす可能性があります」。

研究者によると、大規模な画像データセットの理想的なアプローチは、世界の個々のオブジェクトの画像を収集し、専門家に正確なカテゴリでラベル付けをしてもらうことですが、それは安価ではありませんし、スケールするのも簡単ではありません。そこでImageNetは、検索エンジンやFlickrなどのサイトから画像を収集しました。インターネットの検索エンジンから切り取った画像は、AmazonのMechanical Turkのアノテーターによってレビューされました。研究者らは、ImageNetの写真にラベルを付けるMechanical Turkの従業員は、1つのオブジェクトに焦点を当て、他のオブジェクトやオクルージョンを無視するように指示されていたことに注目しています。研究者によると、他の大規模な画像データセットでも、同様の、そして潜在的に問題のあるパイプラインに従っているとのことです。

ImageNetを評価するために、研究者らはパイプラインを作成し、人間のデータラベラーに複数のラベルから写真に最も関連性の高いものを選ぶように依頼しました。次に、最も頻繁に選択されたラベルを使用してモデルを訓練し、研究者が「絶対的な真実」と呼んでいるものを決定しました。

「我々が活用している重要なアイデアは、モデルの予測を使用して実際にImageNetのラベルを補強することです。具体的には、さまざまなモデルを用いて、その上位5つの予測を集約して、候補となるラベルのセットを作成します」とSanturkarは述べています。「そして、実際に人間のアノテータを使ってこれらのラベルの妥当性を判断しますが、1つのラベルが妥当かどうかを問うのではなく、複数のラベルに対して独立してこのプロセスを繰り返します。これにより、1つの画像に関連する可能性のあるラベルのセットを決定することができます」とSanturkarは述べています。

しかし、研究チームは、専門家ではないデータラベラーも使用しているため、彼らのアプローチが完全に一致していないことに注意を促しています。研究チームは、専門家ではない人間の注釈者が画像に正確なラベリングを行うのは難しい場合があると結論付けています。例えば、24種類のテリアの中から1つを選ぶのは、犬の専門家でない限り難しいかもしれません。

同チームの論文は、5月下旬に当初発表された後、今週のICMLでの発表に向けて受理された。今回の学会での論文発表は、MITが8000万枚のタイニーイメージズのデータセットをインターネットから削除し、データセットのコピーを持っている研究者に削除を依頼するという決定を下したことに続いて行われたものだ。これらの措置は、研究者がデータセットに含まれるNワードのような攻撃的なラベルや、女性に対する性差別用語、その他の軽蔑的なラベルに注意を喚起した後に取られました。2006年に公開された「8000万人の小さな画像」データセットを監査した研究者は、これらのラベルはWordNetの階層構造の結果として組み込まれたものであると結論づけた。

ImageNetはWordNet階層も使用しており、ACMのFaccTカンファレンスで発表された論文では、ImageNetの作成者は、データセットのpersonサブツリーの約2,800のカテゴリを実質的にすべて削除する計画であると述べています。また、画像の多様性の欠如など、データセットの他の問題点も指摘しています。

モデルの訓練やベンチマークに使用される大規模な画像データセット以外にも、大規模なテキストデータセットの欠点は、今月初めに開催されたAssociation of Computational Linguistics (ACL)の会議でも重要なテーマとなっていました。

参考文献

  1. Dimitris Tsipras, Shibani Santurkar, Logan Engstrom, Andrew Ilyas, Aleksander Madry. From ImageNet to Image Classification: Contextualizing Progress on Benchmarks. arXiv:2005.11295. Submitted on 22 May 2020

Image via imagenet.org

Read more

コロナは世界の子どもたちにとって大失敗だった[英エコノミスト]

コロナは世界の子どもたちにとって大失敗だった[英エコノミスト]

過去20年間、主に富裕国で構成されるOECDのアナリストたちは、学校の質を比較するために、3年ごとに数十カ国の生徒たちに読解、数学、科学のテストを受けてもらってきた。パンデミックによる混乱が何年も続いた後、1年遅れで2022年に実施された最新の試験で、良いニュースがもたらされるとは誰も予想していなかった。12月5日に発表された結果は、やはり打撃となった。

By エコノミスト(英国)
中国は2024年に経済的苦境を脱するか?[英エコノミスト]

中国は2024年に経済的苦境を脱するか?[英エコノミスト]

2007年から2009年にかけての世界金融危機の後、エコノミストたちは世界経済が二度と同じようにはならないことをすぐに理解した。災難を乗り越えたとはいえ、危機以前の現状ではなく、「新常態」へと回復するだろう。数年後、この言葉は中国の指導者たちにも採用された。彼らはこの言葉を、猛烈な成長、安価な労働力、途方もない貿易黒字からの脱却を表現するために使った。これらの変化は中国経済にとって必要な進化であり、それを受け入れるべきであり、激しく抵抗すべきではないと彼らは主張した。 中国がコロナを封じ込めるための長いキャンペーンを展開し、今年その再開が失望を呼んだ後、このような感情が再び現れている。格付け会社のムーディーズが今週、中国の信用格付けを中期的に引き下げなければならないかもしれないと述べた理由のひとつである。何人かのエコノミストは、中国の手に負えない不動産市場の新常態を宣言している。最近の日米首脳会談を受けて、中国とアメリカの関係に新たな均衡が生まれることを期待する論者もいる。中国社会科学院の蔡昉は9月、中国の人口減少、消費者の高齢化、選り好みする雇用主の混在によってもたら

By エコノミスト(英国)
イーロン・マスクの「X」は広告主のボイコットにめっぽう弱い[英エコノミスト]

イーロン・マスクの「X」は広告主のボイコットにめっぽう弱い[英エコノミスト]

広告業界を軽蔑するイーロン・マスクは、バイラルなスローガンを得意とする。11月29日に開催されたニューヨーク・タイムズのイベントで、世界一の富豪は、昨年彼が買収したソーシャル・ネットワーク、Xがツイッターとして知られていた頃の広告を引き上げる企業についてどう思うかと質問された。「誰かが私を脅迫しようとしているのなら、『勝手にしろ』」と彼は答えた。 彼のアプローチは、億万長者にとっては自然なことかもしれない。しかし、昨年、収益の90%ほどを広告から得ていた企業にとっては大胆なことだ。Xから広告を撤退させた企業には、アップルやディズニーが含まれる。マスクは以前、Xがブランドにとって安全な空間である証拠として、彼らの存在を挙げていた。

By エコノミスト(英国)