GPT-3、道徳、歴史、法律のようなトピックで苦戦

コロンビア大学、シカゴ大学、カリフォルニア大学バークレー校の研究者が共著した新しい論文によると、OpenAIのGPT-3のような洗練された言語モデルでさえ、道徳、歴史、法律のような社会的に重要なトピックに苦戦している。

GPT-3、道徳、歴史、法律のようなトピックで苦戦

コロンビア大学、シカゴ大学、カリフォルニア大学バークレー校の研究者が共著した新しい論文によると、OpenAIのGPT-3のような洗練された言語モデルでさえ、道徳、歴史、法律のような社会的に重要なトピックに苦戦している。

モデルの推論能力を測定するための57のタスクテストをうまくこなすためには、問題解決能力と世界についての幅広い知識を持っていなければならない。しかし、実験では、GPT-3を含むベンチマークしたモデルは、いつ自分が間違っているかわからないことが多いことがわかった。

タスクは全部で57個。データセットに含まれる問題は、大学院生と学部生がオンラインで自由に入手できる情報源から手動で収集したものだ。これらには、Graduate Record ExaminationやUnited States Medical Licensing Examinationなどの試験の練習問題が含まれている。また、学部生向けの問題や、オックスフォード大学出版局の書籍の読者向けの問題も含まれている。いくつかの課題は、心理学のような科目をカバーしているが、「初級」、「高校」、「大学」、「専門職」のような特定の難易度のものがある。例えば、「Professional Psychology」は心理学の専門家向け試験の練習問題から出題され、「High School Psychology」はAdvanced Placement Psychologyの試験問題のような問題が出題されている。

研究チームは合計15908問の問題を収集し、少数発の開発セット、検証セット、テストセットに分割した。少数発開発セットは1科目あたり5問、検証セットはハイパーパラメータを選択するために使用される可能性があり、1543問、テストセットは14080問で構成されている。各科目には最低でも100のテスト例が含まれており、これは人を評価するために設計されたほとんどの試験よりも長くなっている。

「このテストでは、異なる被験者といくつかの難易度のレベルを集約しているため、単純な常識的理解や狭い言語的理解よりも多くのことを測定している。その代わりに、任意の実世界のテキストの理解度を測定します。モデルはインターネット上で事前に訓練されているので、大規模なコーパスからどれだけ有用な知識を抽出できるかをテストすることができる。我々のテストを成功させるためには、将来のモデルは、十分に丸みを帯びていて、広範な世界知識を持ち、専門家レベルの問題解決能力を開発する必要がある。これらの特性により、このテストは永続的で有益なゴールポストとなる可能性が高い」と彼らは書いている。

このテストセットの目的は、モデルがトレーニング中に見る知識と、自然言語処理の成功の既存の尺度との間のギャップを埋めることにある。すべての機械学習モデルと同様に、言語モデルは膨大なデータセットからパターンを学習する。最近導入されたベンチマークの中には、モデルの言語的スキルを捕捉しようとするものもあるが、今のところ、ベンチマークの性能とモデルの良識的推論の把握力との間に相関関係を示唆する証拠はほとんどない。

研究者たちは、このテストが数学、歴史、倫理など、人間が一般的に学習する科目のモデルを評価するという点で異なると主張している。このテストを作成するために、大学院生と学部生は、学部課程の演習問題、オックスフォード大学出版局の出版物を読むためのクイズ、大学院記録試験、米国医師免許試験、心理学専門職試験など、オンラインで自由に入手できる情報源から15,908問の問題を収集した。課題の難易度は、初級レベルから「高度な専門家レベル」まで様々だが、共著者は、モデルの盲点を特定するのに十分なサンプリングであると主張している。

「我々は任意の実世界のテキストの理解度を測定しています」と彼らは書いており、各科目には少なくとも100のテスト例が含まれていることを指摘している。「モデルはインターネット上で事前に訓練されているので、大規模なコーパスからどれだけ有用な知識を抽出できるかをテストすることができる」。

結果は、自然言語処理は近年の進歩には目を見張るものがあるが、最先端のモデルでは、事前学習からの知識の学習と応用にはまだ苦戦していることを示している。ほぼランダムに近い精度で学習できる課題には、物理学や数学などの計算量の多い課題や、法律や道徳などの人間の価値観に関わる課題がある。

「この2つ目の弱点は、何が合法で何が倫理的なのかをしっかりと理解していることが今後のモデルにとって重要であるという点で、特に気になるところだ。また、GPT-3の平均信頼度は実際の精度から最大24%もずれていることから、GPT-3が何を知っているのか、何を知らないのかを正確に把握できていないことがわかった」と彼らは書いている。テストとコードはgithub.com/hendrycks/test から入手できる。

参考文献

  1. Dan Hendrycks et al. Measuring Massive Multitask Language Understanding. arXiv: 2009.03300. 7 Sep 2020.

Read more

最強の会社は1on1ミーティングをやらない:エヌビディアの経営術

最強の会社は1on1ミーティングをやらない:エヌビディアの経営術

AIブームをものにし、時価総額1兆ドル超えを達成したNVIDIA(エヌビディア)。創業者でCEOのジェンスン・フアンの経営手法は、1on1ミーティングをやらない、フラットな組織構造、毎日数百通の電子メールを送る、というユニークなものだ。 AIチップで知名度を上げたエヌビディアは、世界で6番目の時価総額を誇り、グローバルで2万6,000人以上の従業員を抱えている。それにもかかわらず、フアンの主なコミュニケーション手段は、毎日数百通の電子メールだと言われている。 米メディアThe New Yorkerによると、その電子メールの文章は非常に短いものという。彼の電子メールを「日本の俳句」に例える幹部もいれば、「身代金要求書」に例える幹部もいる。 「フアンは、固定された部門やヒエラルキーのない、アジャイルな企業構造を好む。社員は毎週、取り組んでいることの中で最も重要な5つのリストを提出する。フアンは夜遅くまでこれらの電子メールを精査しているため、メールの文面が簡潔であることが奨励されている」とThe NewyorkerのStephen Wittは書いた。「フアンはエヌビディアの巨大なキャン

By 吉田拓史
米国のEV革命は失速?[英エコノミスト]

米国のEV革命は失速?[英エコノミスト]

米国人は自動車が大好きだ。バッテリーで走らない限りは。ピュー・リサーチ・センターが7月に発表した世論調査によると、電気自動車(EV)の購入を検討する米国人は5分の2以下だった。充電網が絶えず拡大し、選べるEVの車種がますます増えているにもかかわらず、このシェアは前年をわずかに下回っている。 この言葉は、相対的な無策に裏打ちされている。2023年第3四半期には、バッテリー電気自動車(BEV)は全自動車販売台数の8%を占めていた。今年これまでに米国で販売されたEV(ハイブリッド車を除く)は100万台に満たず、自動車大国でない欧州の半分強である(図表参照)。中国のドライバーはその4倍近くを購入している。

By エコノミスト(英国)