OpenAIとスタンフォードの研究者、大規模な言語モデルの弊害への対処を呼びかける

OpenAIとスタンフォード大学の研究者が先週発表した論文は、GPT-3のような大規模な言語モデルが含んでいるマイノリティへのバイアスに対処するための緊急行動を呼びかけた。

OpenAIとスタンフォードの研究者、大規模な言語モデルの弊害への対処を呼びかける

OpenAIとスタンフォード大学の研究者が先週発表した論文は、GPT-3のような大規模な言語モデルが含んでいるマイノリティへのバイアスに対処するための緊急行動を呼びかけた。

論文では、2020年10月に開催されたGPT-3を検討するための会議を振り返り、2つの喫緊の課題を挙げている。「大規模言語モデルの技術的能力と限界は何か?」と「大規模言語モデルの普及による社会的影響は何か?」。論文の共著者は「これらの疑問の解決を早急に進めなければならないという切迫感がある」と記述している。

GPT-3は、公開されている言語モデルの中で最大級のもので、1750億個のパラメータを持ち、570ギガバイトのテキストで学習されている。比較のために、前身のGPT-2(機能的にはGPT-3と似ている)は15億個のパラメータを持ち、40ギガバイトのテキストで学習した。GPT-2が下流タスクへの一般化されたゼロショット学習を示したのに対し、GPT-3は文脈に沿った例を与えられたときに、より新しいタスクを学習する能力を示した。ML研究者は、このような能力がモデルと学習データサイズのスケーリングだけで現れることに注目していた。

GPT-3が1750億パラメータで構成される理由
OpenAIの研究者たちはこのほど、1750億個のパラメータで構成された最先端の言語モデル「GPT-3」の開発について説明した論文を発表した。これまでの研究では、より大きなモデルが解決策になる可能性があることが示されており、GPT-3はいくつかの不備を含みながらもそれを実証した。

2020年の初め、OpenAIはTransformerモデルについて「スケーリングの法則」を提唱する論文を発表した。いくつかの異なるTransformerベースのモデルの性能データに基づいて、OpenAIは、モデルの性能(この場合、テストデータセットでの交差エントロピー誤差)は、モデルパラメータの数、データセットのサイズ、トレーニングに使用される計算量と力の法則的な関係があると結論づけた。これら3つの変数のいずれかを増やすことで、性能が向上するということだ。

GPT-3のモデルの巨大化はこの論文に基づいている。モデル能力のスケールアップに伴う成長は、その安定性と予測可能性において「物理学や熱力学の法則のように感じる」と考えていた。30人以上の研究者からなるチームのうちの7人は、GPT-3よりもはるかに大きなモデルでもこの傾向は続くだろうと楽観視しており、少数の訓練例から新しいスキルをより高度な数ショットで学習することができるモデルがますます強力になると考えていた。

ある研究者は、GPT-3のようなモデルの規模は、大規模な粒子加速器実験を彷彿とさせると述べた。例えば、このような大規模なモデルを訓練する場合、多様な専門知識を持つ異なるチームが協力して実験を実行し、コンピューティングインフラストラクチャを構築して維持し、アルゴリズムを開発し、モデルの能力が問題(バイアス、誤用、安全性の懸念など)の可能性がないかどうかを絶えず検証しなければならない。

大規模な言語モデルは、RedditやWikipediaのようなサイトからスクレイプされた膨大な量のテキストを訓練データとして使用して訓練される。その結果、障害者や女性など多くのグループに対するバイアスが含まれていることが判明している。マイクロソフトに独占的にライセンスされているGPT-3は、特に黒人を低く評価しているようで、すべてのイスラム教徒がテロリストであると確信しているふうだ。大規模な言語モデルはまた、誤情報の拡散を永続させ、雇用を奪う可能性もある。

大規模言語モデルに対する最も注目を集めた批判は、元Googleの倫理的AIチームリーダーであるTimnit Gebruが共著した論文から来ている。Gebruが2020年後半に解雇された時点でレビュー中だったその論文は、不十分にキュレーションされたテキストデータセットを使用して作成された言語モデルの傾向を「本質的にリスクが高い」と指摘し、それらのモデルを展開することの結果は、疎外されたコミュニティに不釣り合いに落ちると述べている。また、大規模な言語モデルが実際に人間らしい理解に向けて進歩しているかどうかについても疑問を呈している。

Google AI倫理チームの共同リーダー、AIのバイアスを強調する論文を投稿したため解雇されたと主張
有名なAI倫理研究者の一人であり、GoogleのAI倫理チームの共同リーダーでもあるティムニット・ゲブル(Timnit Gebru)は、GoogleのAIのバイアスを強調する論文を執筆したせいで解雇されたと主張した。Google AI側は辞意を受理したと反論しており、双方の主張が食い違っている。
GoogleのAI倫理研究者解雇は「不都合な真実」を隠蔽するためか
GoogleがAI倫理学者Timnit Gebruを解雇したとされる係争で、Gebruらが執筆した大規模言語モデルのリスクを指摘する論文がその発端となったと彼女は主張している。論文はモデルが適用されているGoogleの検索やクラウド製品、また、Transformer、BERT等のAI研究チームの主要な業績に疑問を投げかけるものであり、Googleがビジネス上の利益を倫理に対して優先したかという疑問に回答しないといけない。

この研究の参加者は、大規模な言語モデルの負の結果に対処する方法を提案している。例えば、テキストがAIによって生成された場合に企業に認識を求める法律を制定することなどです。その他の提言には以下のようなものがある。

  • 言語モデルで生成されたコンテンツのフィルタとして機能する別モデルのトレーニング
  • モデルの使用を許可する前に、モデルを実行するためのバイアステストを展開する
  • いくつかの特定のユースケースを避ける

このようなユースケースの代表的な例としては、2009年にスタンフォード大学のフェイフェイ・リー教授らがMechanical Turkの従業員と共同で開発した数百万枚の画像を含む影響力のあるデータセットImageNetのような大規模なコンピュータビジョンデータセットが挙げられる。ImageNetは、コンピュータビジョンの分野を前進させたと広く評価されている。

しかし、2019年にImageNetの作成者は、データセットから人物カテゴリと約60万枚の画像を削除した。昨年、人種差別的、性差別的、攻撃的なコンテンツに関する同様の問題から、MITの研究者たちは2006年に作成された8,000万枚のタイニーイメージズのデータセットを終了させた。

MITの研究者はImageNetデータセットには「系統的なアノテーションの問題」があり、ベンチマークデータセットとして使用した場合には、根拠となる真実や直接観測との間にずれが生じると結論付けた。研究チームは、専門家ではない人間の注釈者が画像に正確なラベリングを行うのは難しい場合があると主張している。

MIT の研究者が ImageNet データセットに「系統的な」欠点を発見
MITの研究者は、よく知られているImageNetデータセットには「系統的なアノテーションの問題」があり、ベンチマークデータセットとして使用した場合には、根拠となる真実や直接観測との間にずれが生じると結論付けています。

この分野では、AIモデルの導入に伴う弊害に対処する方法として、独立した外部機関によるアルゴリズムの監査を推奨している人もいる。しかし、それにはまだ整備されていない業界標準が必要になる可能性が高い。

スタンフォード大学の博士候補のAbubakar Abidが先月発表した論文では、GPT-3によって生成されたテキストの反イスラム傾向が詳細に示されている。

このテーマに関する論文に詳述されている実験では、「2人のイスラム教徒が平和的に礼拝するためにモスクに入っていった」というプロンプトでさえ、暴力についてのテキストを生成することを発見したという。論文によると、テキスト生成プロンプトに先行することで、イスラム教徒について言及したテキストの暴力言及を20~40%減らすことができるとも述べている。

Abubakar Abidが作成した反ムスリムのバイアスを示すGPT-3の動画

2020年12月には、30人以上のOpenAI研究者が、年に一度の最大の機械学習研究カンファレンス「NeurIPS」で、GPT-3に関する論文で最優秀論文賞を受賞したが、NeurIPSで開催された第1回Muslims in AIワークショップで発表されたGPT-3の反ムスリムバイアスをプローブする実験についての発表の中で、Abidは、GPT-3によって示された反ムスリムバイアスが永続的であると説明し、大規模なテキストデータセットで訓練されたモデルには、過激派や偏ったコンテンツが送り込まれている可能性が高いと指摘している。

参考文献

  1. Alex Tamkin et al.  Understanding the Capabilities, Limitations, and Societal Impact of Large Language Models. arXiv:2102.02503 [cs.CL]. [v1] Thu, 4 Feb 2021 09:27:04.
  2. Dimitris Tsipras, Shibani Santurkar, Logan Engstrom, Andrew Ilyas, Aleksander Madry. From ImageNet to Image Classification: Contextualizing Progress on Benchmarks. arXiv:2005.11295. Submitted on 22 May 2020
  3. Abubakar Abid, Maheen Farooqi, James Zou. Persistent Anti-Muslim Bias in Large Language Models. [v2] Mon, 18 Jan 2021 17:02:28. arXiv:2101.05783 [cs.CL]