GPT-3、道徳、歴史、法律のようなトピックで苦戦

コロンビア大学、シカゴ大学、カリフォルニア大学バークレー校の研究者が共著した新しい論文によると、OpenAIのGPT-3のような洗練された言語モデルでさえ、道徳、歴史、法律のような社会的に重要なトピックに苦戦している。

モデルの推論能力を測定するための57のタスクテストをうまくこなすためには、問題解決能力と世界についての幅広い知識を持っていなければならない。しかし、実験では、GPT-3を含むベンチマークしたモデルは、いつ自分が間違っているかわからないことが多いことがわかった。

タスクは全部で57個。データセットに含まれる問題は、大学院生と学部生がオンラインで自由に入手できる情報源から手動で収集したものだ。これらには、Graduate Record ExaminationやUnited States Medical Licensing Examinationなどの試験の練習問題が含まれている。また、学部生向けの問題や、オックスフォード大学出版局の書籍の読者向けの問題も含まれている。いくつかの課題は、心理学のような科目をカバーしているが、「初級」、「高校」、「大学」、「専門職」のような特定の難易度のものがある。例えば、「Professional Psychology」は心理学の専門家向け試験の練習問題から出題され、「High School Psychology」はAdvanced Placement Psychologyの試験問題のような問題が出題されている。

研究チームは合計15908問の問題を収集し、少数発の開発セット、検証セット、テストセットに分割した。少数発開発セットは1科目あたり5問、検証セットはハイパーパラメータを選択するために使用される可能性があり、1543問、テストセットは14080問で構成されている。各科目には最低でも100のテスト例が含まれており、これは人を評価するために設計されたほとんどの試験よりも長くなっている。

「このテストでは、異なる被験者といくつかの難易度のレベルを集約しているため、単純な常識的理解や狭い言語的理解よりも多くのことを測定している。その代わりに、任意の実世界のテキストの理解度を測定します。モデルはインターネット上で事前に訓練されているので、大規模なコーパスからどれだけ有用な知識を抽出できるかをテストすることができる。我々のテストを成功させるためには、将来のモデルは、十分に丸みを帯びていて、広範な世界知識を持ち、専門家レベルの問題解決能力を開発する必要がある。これらの特性により、このテストは永続的で有益なゴールポストとなる可能性が高い」と彼らは書いている。

このテストセットの目的は、モデルがトレーニング中に見る知識と、自然言語処理の成功の既存の尺度との間のギャップを埋めることにある。すべての機械学習モデルと同様に、言語モデルは膨大なデータセットからパターンを学習する。最近導入されたベンチマークの中には、モデルの言語的スキルを捕捉しようとするものもあるが、今のところ、ベンチマークの性能とモデルの良識的推論の把握力との間に相関関係を示唆する証拠はほとんどない。

研究者たちは、このテストが数学、歴史、倫理など、人間が一般的に学習する科目のモデルを評価するという点で異なると主張している。このテストを作成するために、大学院生と学部生は、学部課程の演習問題、オックスフォード大学出版局の出版物を読むためのクイズ、大学院記録試験、米国医師免許試験、心理学専門職試験など、オンラインで自由に入手できる情報源から15,908問の問題を収集した。課題の難易度は、初級レベルから「高度な専門家レベル」まで様々だが、共著者は、モデルの盲点を特定するのに十分なサンプリングであると主張している。

「我々は任意の実世界のテキストの理解度を測定しています」と彼らは書いており、各科目には少なくとも100のテスト例が含まれていることを指摘している。「モデルはインターネット上で事前に訓練されているので、大規模なコーパスからどれだけ有用な知識を抽出できるかをテストすることができる」。

結果は、自然言語処理は近年の進歩には目を見張るものがあるが、最先端のモデルでは、事前学習からの知識の学習と応用にはまだ苦戦していることを示している。ほぼランダムに近い精度で学習できる課題には、物理学や数学などの計算量の多い課題や、法律や道徳などの人間の価値観に関わる課題がある。

「この2つ目の弱点は、何が合法で何が倫理的なのかをしっかりと理解していることが今後のモデルにとって重要であるという点で、特に気になるところだ。また、GPT-3の平均信頼度は実際の精度から最大24％もずれていることから、GPT-3が何を知っているのか、何を知らないのかを正確に把握できていないことがわかった」と彼らは書いている。テストとコードはgithub.com/hendrycks/test から入手できる。

参考文献

1. Dan Hendrycks et al. Measuring Massive Multitask Language Understanding. arXiv: 2009.03300. 7 Sep 2020.