要点

マサチューセッツ工科大学(MIT)などの研究者が機械学習を利用して、放射線技師がさまざまな形態のがんをよりよく検出できるようにしている。この機械学習システムはタスクに関する予測を行うか、あるいは専門家に判断を委ねるかを判断できる。


近年では、人間の作業員と自動化されたソフトウェアの微妙な相互作用に依存する産業が出現している。フェイスブックのような企業は、自動化されたフィルタリングと人間のモデレーターを組み合わせて、憎悪的で暴力的なコンテンツをプラットフォームから排除しようとしているが、苦戦している。医療分野では、マサチューセッツ工科大学(MIT)などの研究者が機械学習を利用して、放射線技師がさまざまな形態のがんをよりよく検出できるようにしている。

これらのハイブリッド・アプローチで厄介なのは、人間とプログラムの専門知識にいつ依存するかということだ。これは、常にどちらが「より優れた」作業を行うかという問題ではない。

この複雑な問題に取り組むために、MITのコンピュータサイエンス・人工知能研究所(CSAIL)の研究者たちは、タスクに関する予測を行うか、あるいは専門家に判断を委ねるかを判断できる機械学習システムを開発した。最も重要なのは、チームメイトの可用性や経験のレベルなどの要因に基づいて、人間の協力者にいつ、どのくらいの頻度で判断を委ねるかを適応させることができるということだ。

チームは、胸部X線を見て無気肺(肺虚脱)や心肥大(心臓の肥大)などの特定の状態を診断するなど、複数のタスクでシステムを訓練した。心肥大症の場合には、人間とAIのハイブリッドモデルの方が、どちらか一方が単独で診断するよりも8%優れた性能を発揮することがわかった(AU-ROCスコアに基づく)。

このシステムには2つの部分がある。タスクの特定のサブセットを予測できる「分類器」と、与えられたタスクを独自の分類器か人間の専門家のどちらかで処理すべきかを決定する「拒否器」。

医療診断やテキスト/画像分類のタスクでの実験を通して、チームは、ベースラインよりも優れた精度を達成するだけでなく、より低い計算コストで、より少ないトレーニングデータサンプルで実現できることを示した。

論文が主張するところによると、このアルゴリズムでは、特定の予測精度であれ、専門家の時間と労力のコストであれ、どんな選択をしても最適化することができる。さらに、学習した拒絶体を解釈することで、このシステムは専門家がどのように意思決定を行うのか、どのような状況ではAIがより適切なのか、あるいはその逆なのかについての洞察を提供できる可能性がある。

攻撃的なテキストや画像の検出に役立つこのシステムの特別な能力は、コンテンツのモデレーションにも興味深い意味合いを持つ可能性がある。研究は、Facebookのような企業で、人間のモデレーターチームと組み合わせて使用する可能性を示唆。そのようなシステムがあれば、人間のモデレーターが毎日チェックしなければならない憎悪的な投稿やトラウマ的な投稿を最小限に抑えることができるかもしれない。

チームはまだ人間の専門家を使ってシステムをテストしていないが、その代わりに、経験や可用性などのパラメーターを微調整できるように、一連の「合成専門家」を開発した。これまでに見たことのない新しい専門家と連携するためには、その人の特定の長所と短所についての訓練を受けるための最小限のオンボードが必要になる。

今後の研究では、X線診断のための放射線技師など、実際の人間の専門家を使ってアプローチをテストする予定だ。また、偏った専門家のデータから学習できるシステムや、複数の専門家を同時に操作したり、複数の専門家に依存したりできるシステムを開発する方法も模索していく予定である。

最近国際機械学習学会で発表されたこの論文は、MIT CSAILの博士課程の学生であるフセイン・モザンナールと、電気工学・コンピュータサイエンス学科のフォン・ヘルムホルツ医学工学准教授であるデビッド・ソンタグの共著だ。モザンナールは、CSAILとMIT Institute for Data, Systems and Society (IDSS) の両方に所属している。このチームの研究は、一部は米国国立科学財団の支援を受けている。

参考文献

Hussein Mozannar, David Sontag. Consistent Estimators for Learning to Defer to an Expert. arXiv:2006.01862.

Photo by Jonathan Borba on Unsplash