Google、コンピュータビジョンモデルBig Transferをオープンソース化

Google Brainは、深層学習型コンピュータビジョンモデル「Big Transfer (BiT)」の事前学習モデルとファインチューニングコードを公開した。これらのモデルは、一般に公開されている一般的な画像データセットを用いて事前に訓練されており、わずか数サンプルで微調整を行うだけで、いくつかのビジョンベンチマークにおいて最先端の性能を満たすか、それ以上の性能を発揮することができるという。

論文の共著者であるGoogle Brainの研究者Lucas BeyerとAlexander Kolesnikovは、最近のブログ記事で研究の概要を説明している。深層学習型ビジョンモデルの性能を向上させるために、チームは大規模な事前学習と、モデルサイズ、データセットサイズ、学習期間、正規化戦略、ハイパーパラメータの選択の効果を調査した。この研究の結果、チームはコンポーネントと訓練ヒューリスティックの「レシピ」を開発し、ObjectNetデータセットでは「前例のない80.0%の精度でトップ5に入る」など、様々なベンチマークで強力な性能を達成したと、BeyerとKolesnikovは主張する。

彼らは「Big Transferを使用すると、クラスごとにラベル付けされた画像をほんの一握りでも、誰もが興味のあるタスクで最先端のパフォーマンスを発揮できるようになる」と記述している。

ディープラーニングモデルはコンピュータビジョン、特に画像中の物体の認識において飛躍的な進歩を遂げてきた。この成功の鍵の一つは、ラベル付きの大規模なデータセットが利用できるようになったことだ。例えば、人気のあるImageNetデータセットには、21kの異なるオブジェクトクラスを含む1,400万枚以上のラベル付き画像が含まれている。しかし、画像は通常、人、ペット、家庭用品などの一般的なものを示している。産業用ロボットのような専門的なタスクのために同じような規模のデータセットを作成するには、法外な費用がかかったり、時間がかかったりする可能性がある。

このような状況では、AIエンジニアは、大規模な自然言語処理（NLP）モデルで人気のある戦略である伝達学習を適用することがよくある。ニューラルネットワークは、最初に大規模な一般的なデータセットで事前学習を行い、テストデータセットで一定レベルの性能を達成するまで学習する。その後、モデルはより小さなタスク固有のデータセットで微調整され、時にはタスク固有のオブジェクトの例が1つしかない場合もある。大規模なNLPモデルは、伝達学習を用いて、新しい最先端の性能レベルを設定している。

BiTでは、Googleの研究者はResNet-v2ニューラルアーキテクチャを使用した。事前学習のデータセットサイズの影響を調べるために、研究チームは、異なるデータセットで事前学習した3つのグループのモデルで実験を再現した。ILSVRC-2012の128万枚の画像で事前学習したBiT-Sモデル、ImageNet-21kの1420万枚の画像で事前学習したBiT-Mモデル、JFT-300Mの3億枚の画像で事前学習したBiT-Lモデルである。その後、モデルは微調整され、いくつかの一般的なベンチマーク（ILSVRC-2012、CIFAR-10/100、Oxford-IIIT Pet、Oxford Flowers-102）で評価された。

研究チームは、実験からいくつかの知見を得た。第一に、モデルサイズを大きくすることの利点は、より小さなデータセットでは減少し、より大きなデータセットでより小さなモデルを事前に訓練してもほとんど利点はない。第二に、バッチ正規化よりもグループ正規化の方が大規模モデルの性能が良かった。最後に、微調整時に高額なハイパーパラメータ探索を回避するために、研究チームはBiT-HyperRuleと呼ばれるヒューリスティックな手法を開発した。

Googleは、BiT-SグループとBiT-Mグループの中から、最も性能の良い事前学習モデルを公開している。しかし、JFT-300Mデータセットに基づくBiT-Lモデルは一切公開していない。

Photo by Google Cloud