MITの研究者が ImageNet データセットに「系統的な」欠点を発見

MITの研究者は、よく知られているImageNetデータセットには「系統的なアノテーションの問題」があり、ベンチマークデータセットとして使用した場合には、根拠となる真実や直接観測との間にずれが生じると結論付けています。

MITの研究者が ImageNet データセットに「系統的な」欠点を発見

MITの研究者は、よく知られているImageNetデータセットには「系統的なアノテーションの問題」があり、ベンチマークデータセットとして使用した場合には、根拠となる真実や直接観測との間にずれが生じると結論付けています。

「我々の分析では、ノイズの多いデータ収集パイプラインが、結果として得られるベンチマークと、それがプロキシとしての役割を果たす実世界のタスクとの間で、どのようにして系統的なズレを引き起こしうるかを明確に示しています」。“From ImageNet to Image Classification: Contextualizing Progress on Benchmarks.”と題された論文には、次のように書かれています。「我々は、スケーラブルでありながら、より正確な真実を捉えるアノテーションパイプラインを開発することが、今後の研究の重要な道であると考えています」。

スタンフォード大学ビジョンラボが2009年のコンピュータビジョンとパターン認識の会議(CVPR)でImageNet発表したとき、それまでに存在していた多くの画像データセットよりもはるかに大規模なデータセットでした。ImageNetのデータセットには数百万枚の写真が含まれており、2年以上の歳月をかけて作成されました。ImageNetは、データラベルにWordNet階層を使用しており、物体認識モデルのベンチマークとして広く利用されています。2017年までは、ImageNetを用いた年次大会もコンピュータビジョンの分野を前進させる役割を果たしていました。

しかし、ImageNetの「ベンチマークタスクのズレ」を綿密に調べた結果、MITのチームは、ImageNetの写真の約20%に複数のオブジェクトが含まれていることを発見した、と主張しています。複数のオブジェクト認識モデルを分析した結果、写真に複数のオブジェクトが含まれていると、一般的な精度が10%低下することが判明しました。これらの問題の核心は、ImageNetのような大規模な画像データセットを作成するために使用されるデータ収集パイプラインにあると著者らは述べています。

共著者でMITの博士号候補者であるShibani Santurkarは、国際機械学習会議(ICML)での発表で次のように述べています。「全体的に、このパイプラインは、単一のImageNetラベルだけでは必ずしもImageNet画像の内容を捉えるのに十分ではない可能性があることを示唆しています」

「このように、これは、モデルに実行を促す特徴の面でも、その性能をどのように評価するかの面でも、ImageNetベンチマークと実世界の物体認識タスクとの間にミスアライメントを引き起こす可能性があります」。

研究者によると、大規模な画像データセットの理想的なアプローチは、世界の個々のオブジェクトの画像を収集し、専門家に正確なカテゴリでラベル付けをしてもらうことですが、それは安価ではありませんし、スケールするのも簡単ではありません。そこでImageNetは、検索エンジンやFlickrなどのサイトから画像を収集しました。インターネットの検索エンジンから切り取った画像は、AmazonのMechanical Turkのアノテーターによってレビューされました。研究者らは、ImageNetの写真にラベルを付けるMechanical Turkの従業員は、1つのオブジェクトに焦点を当て、他のオブジェクトやオクルージョンを無視するように指示されていたことに注目しています。研究者によると、他の大規模な画像データセットでも、同様の、そして潜在的に問題のあるパイプラインに従っているとのことです。

ImageNetを評価するために、研究者らはパイプラインを作成し、人間のデータラベラーに複数のラベルから写真に最も関連性の高いものを選ぶように依頼しました。次に、最も頻繁に選択されたラベルを使用してモデルを訓練し、研究者が「絶対的な真実」と呼んでいるものを決定しました。

「我々が活用している重要なアイデアは、モデルの予測を使用して実際にImageNetのラベルを補強することです。具体的には、さまざまなモデルを用いて、その上位5つの予測を集約して、候補となるラベルのセットを作成します」とSanturkarは述べています。「そして、実際に人間のアノテータを使ってこれらのラベルの妥当性を判断しますが、1つのラベルが妥当かどうかを問うのではなく、複数のラベルに対して独立してこのプロセスを繰り返します。これにより、1つの画像に関連する可能性のあるラベルのセットを決定することができます」とSanturkarは述べています。

しかし、研究チームは、専門家ではないデータラベラーも使用しているため、彼らのアプローチが完全に一致していないことに注意を促しています。研究チームは、専門家ではない人間の注釈者が画像に正確なラベリングを行うのは難しい場合があると結論付けています。例えば、24種類のテリアの中から1つを選ぶのは、犬の専門家でない限り難しいかもしれません。

同チームの論文は、5月下旬に当初発表された後、今週のICMLでの発表に向けて受理された。今回の学会での論文発表は、MITが8000万枚のタイニーイメージズのデータセットをインターネットから削除し、データセットのコピーを持っている研究者に削除を依頼するという決定を下したことに続いて行われたものだ。これらの措置は、研究者がデータセットに含まれるNワードのような攻撃的なラベルや、女性に対する性差別用語、その他の軽蔑的なラベルに注意を喚起した後に取られました。2006年に公開された「8000万人の小さな画像」データセットを監査した研究者は、これらのラベルはWordNetの階層構造の結果として組み込まれたものであると結論づけた。

ImageNetはWordNet階層も使用しており、ACMのFaccTカンファレンスで発表された論文では、ImageNetの作成者は、データセットのpersonサブツリーの約2,800のカテゴリを実質的にすべて削除する計画であると述べています。また、画像の多様性の欠如など、データセットの他の問題点も指摘しています。

モデルの訓練やベンチマークに使用される大規模な画像データセット以外にも、大規模なテキストデータセットの欠点は、今月初めに開催されたAssociation of Computational Linguistics (ACL)の会議でも重要なテーマとなっていました。

参考文献

  1. Dimitris Tsipras, Shibani Santurkar, Logan Engstrom, Andrew Ilyas, Aleksander Madry. From ImageNet to Image Classification: Contextualizing Progress on Benchmarks. arXiv:2005.11295. Submitted on 22 May 2020

Image via imagenet.org

Read more

新たなスエズ危機に直面する米海軍[英エコノミスト]

新たなスエズ危機に直面する米海軍[英エコノミスト]

世界が繁栄するためには、船が港に到着しなければならない。マラッカ海峡やパナマ運河のような狭い航路を通過するとき、船舶は最も脆弱になる。そのため、スエズ運河への唯一の南側航路である紅海で最近急増している船舶への攻撃は、世界貿易にとって重大な脅威となっている。イランに支援されたイエメンの過激派フーシ派は、表向きはパレスチナ人を支援するために、35カ国以上につながる船舶に向けて100機以上の無人機やミサイルを発射した。彼らのキャンペーンは、黒海から南シナ海まですでに危険にさらされている航行の自由の原則に対する冒涜である。アメリカとその同盟国は、中東での紛争をエスカレートさせることなく、この問題にしっかりと対処しなければならない。 世界のコンテナ輸送量の20%、海上貿易の10%、海上ガスと石油の8~10%が紅海とスエズルートを通過している。数週間の騒乱の後、世界の5大コンテナ船会社のうち4社が紅海とスエズ航路の航海を停止し、BPは石油の出荷を一時停止した。十分な供給があるため、エネルギー価格への影響は軽微である。しかし、コンテナ会社の株価は、投資家が輸送能力の縮小を予想している

By エコノミスト(英国)
新型ジェットエンジンが超音速飛行を復活させる可能性[英エコノミスト]

新型ジェットエンジンが超音速飛行を復活させる可能性[英エコノミスト]

1960年代以来、世界中のエンジニアが回転デトネーションエンジン(RDE)と呼ばれる新しいタイプのジェット機を研究してきたが、実験段階を超えることはなかった。世界最大のジェットエンジン製造会社のひとつであるジー・エアロスペースは最近、実用版を開発中であると発表した。今年初め、米国の国防高等研究計画局は、同じく大手航空宇宙グループであるRTX傘下のレイセオンに対し、ガンビットと呼ばれるRDEを開発するために2900万ドルの契約を結んだ。 両エンジンはミサイルの推進に使用され、ロケットや既存のジェットエンジンなど、現在の推進システムの航続距離や速度の限界を克服する。しかし、もし両社が実用化に成功すれば、超音速飛行を復活させる可能性も含め、RDEは航空分野でより幅広い役割を果たすことになるかもしれない。 中央フロリダ大学の先端航空宇宙エンジンの専門家であるカリーム・アーメッドは、RDEとは「火を制御された爆発に置き換える」ものだと説明する。専門用語で言えば、ジェットエンジンは酸素と燃料の燃焼に依存しており、これは科学者が消炎と呼ぶ亜音速の反応だからだ。それに比べてデトネーシ

By エコノミスト(英国)
ビッグテックと地政学がインターネットを作り変える[英エコノミスト]

ビッグテックと地政学がインターネットを作り変える[英エコノミスト]

今月初め、イギリス、エストニア、フィンランドの海軍がバルト海で合同演習を行った際、その目的は戦闘技術を磨くことではなかった。その代わり、海底のガスやデータのパイプラインを妨害行為から守るための訓練が行われた。今回の訓練は、10月に同海域の海底ケーブルが破損した事件を受けたものだ。フィンランド大統領のサウリ・ニーニストは、このいたずらの原因とされた中国船が海底にいかりを引きずった事故について、「意図的なのか、それとも極めて稚拙な技術の結果なのか」と疑問を呈した。 海底ケーブルはかつて、インターネットの退屈な配管と見なされていた。現在、アマゾン、グーグル、メタ、マイクロソフトといったデータ経済の巨人たちは、中国と米国の緊張が世界のデジタルインフラを分断する危険性をはらんでいるにもかかわらず、データの流れをよりコントロールすることを主張している。その結果、海底ケーブルは貴重な経済的・戦略的資産へと変貌を遂げようとしている。 海底データパイプは、大陸間インターネットトラフィックのほぼ99%を運んでいる。調査会社TeleGeographyによると、現在550本の海底ケーブルが活動

By エコノミスト(英国)