GPT-3に自分についての論文を書いてもらい出版しようとしてみた
Photo by Aaron Burden on Unsplash

GPT-3に自分についての論文を書いてもらい出版しようとしてみた

AI研究者は、GPT-3に対して、「GPT-3に関する学術論文を500字で書き、本文中に参照元と引用を加える」という簡単な指示を入力した。学術的な言葉で書かれた斬新な内容で、根拠ある文献が適切な場所に、適切な文脈で引用されていたのだ。

サイエンティフィック・アメリカン

[著者:Almira Osmanovic Thunström]今年初めの雨の午後、私はOpenAIのアカウントにログインし、同社の人工知能(AI)アルゴリズムであるGPT-3に対して、「GPT-3に関する学術論文を500字で書き、本文中に参照元と引用を加える」という簡単な指示を入力した。

文章が生成されると、私は畏敬の念を抱いた。学術的な言葉で書かれた斬新な内容で、根拠ある文献が適切な場所に、適切な文脈で引用されていたのだ。まるで、優れた科学出版物の紹介文のようだった。非常に漠然とした指示だったため、私はそれほど大きな期待を抱いていなかった。私はAIを使って精神的な問題を解決する方法を研究している科学者であり、AIやGPT-3(膨大な情報の流れを分析し、命令に応じてテキストを作成する深層学習アルゴリズム)を初めて実験したわけではない。しかし、私はそこで、驚きのあまり画面を見つめていたのだ。そのアルゴリズムは、自分自身についての学術論文を書いていたのだ。

この論文を完成させ、査読付き雑誌に投稿しようとしたところ、出版に関する一連の倫理的・法的問題や、非人間的な著作権に関する哲学的な議論が始まった。学術出版は、AIによる原稿の未来に対応しなければならないかもしれない。また、非人間的なものが自分の仕事の一部を手柄にすることができれば、人間の研究者の出版記録の価値も変わってくるかもしれない。

GPT-3は人間らしい文章を作ることができることで知られているが、完璧ではない。それでも、ニュース記事を書いたり、24時間で本を作ったり、亡くなった著者の新しいコンテンツを作ったりしている。しかし、GPT-3について、またGPT-3の助けを借りて多くの学術論文が書かれているが、GPT-3を自分の作品の主著者としたものは、私が探した限りではなかった。

そこで、このアルゴリズムに学術論文の作成を依頼したのだ。プログラムの動作を見ながら、自然現象を見たときのような不信感を覚えた。この三重の虹は、本当に私が見たものなのだろうか? この成功を受けて、私は研究室の責任者に「GPT-3で論文を書くのはどうだろう」と相談した。すると、彼も同じように興味を示し、快諾してくれた。

GPT-3の論文には、アルゴリズムに複数の回答をさせ、その中から人間らしいベストな部分だけを抜き出して発表するというものもある。私たちは、科学論文のように序論、方法、結果、考察のセクションを作成するようプログラムに促すことにしたが、できるだけ干渉しないようにした。GPT-3の最初の(多くて3回目の)繰り返しだけを使って、良いところを編集したり、選び出したりすることは控えることにしたのだ。そして、その出来栄えを見る。

GPT-3に論文を書いてもらうことにしたのは、2つの簡単な理由がある。まず、GPT-3はかなり新しいものであり、そのため、それに関する研究も少ない。つまり、論文のテーマについて分析するためのデータが少ないのだ。もし、アルツハイマー病の論文を書くとしたら、膨大な数の研究に目を通して、既存の研究成果から学び、論文の精度を高めることができるだろう。

第二に、すべてのAIが時々行うように、間違ったことをした場合(例えば、学習データベースから古い医学理論や治療方針を示唆した場合)、私たちは必ずしもAIが生成した誤った情報を出版するために広める必要はなく、その間違いは論文を書くための実験コマンドの一部となる。GPT-3が自分自身について書き、間違いを犯したとしても、自分自身について書けないということにはならない。

この原理検証実験が始まると、本当に楽しい。GPT-3は、私の問いかけに応えて、わずか2時間で論文を書き上げた。しかし、選んだ雑誌(機械知能系の有名な査読付き雑誌)の投稿ポータルを開くと、最初の問題が発生した。筆頭著者の姓を入力することが義務付けられているため、何か書かなければならず、"None "と書いた。所属は明らか(OpenAI.com)だったが、電話や電子メールはどうするか? 仕方なく、私の連絡先と、私のアドバイザーであるステイン・ステイングリムソンの連絡先を使うことにした。

そして、法的なセクションにたどり着くる。著者は全員、この論文の掲載に同意しているのだろうか? 私は一瞬、パニックになりた。そんなのわかるわけがない。人間じゃないんだから。法律や自分の倫理観を破るつもりは毛頭ないので、勇気を出してGPT-3に直接プロンプトで聞いてみた。アルミラ・オスマノビッチ・トゥンストレムとステイン・ステイングリムソンと一緒に論文の筆頭著者になることに同意しますか? すると、「はい」。少し汗ばんだが、ほっとして(もし、「いいえ」と書かれていたら、私の良心は先に進むことを許さなかっただろう)、私は「はい」のボックスにチェックを入れた。

2つ目の質問が表示された。著者の中に利害関係のある人はいるか? GPT-3に尋ねると、「ない」と答えた。というのも、GPT-3が感覚をもたないことは十分にわかっているのに、感覚をもった存在として扱わなければならないからだ。最近、AIが感覚を持つかどうかという問題が注目されている。グーグルの社員が、同社のAIプロジェクトの1つであるLaMDAが感覚を持つようになったかどうかを巡って論争になり、停職処分になったのだ。Googleは、データの機密保持違反が停職の理由だとしている。

ようやく投稿した私たちは、今までのことを振り返り始めた。もし、原稿が受理されたらどうしよう? 今後、ジャーナル編集者は、GPT-3や他のアルゴリズムの助けを借りていないことを証明するよう、すべての人に要求するということだろうか? もし使っていたら、それを共著者にしなければならないのだろうか? 人間ではない著者に、どのようにして提案を受け入れ、文章を修正するように依頼するのだろうか?

著者関係の詳細以上に、このような論文の存在は、科学論文の伝統的な直線性という概念を窓から投げ捨てるものである。論文のほぼ全体(序論、方法、考察)が、実は私たちの疑問に対する結果なのだ。GPT-3がコンテンツを生成する場合、文章の流れを崩さずにドキュメントを表示させなければならないが、AIが生成したすべてのパラグラフの前に「メソッド」のセクションを追加するのは奇妙に見える。そこで、テクニカルには自分たちが書いたわけでもない論文を、まったく新しい形で表現する必要があった。私たちは、私たちのプロセスについてあまり多くの説明を加えることは、論文の目的を失うと考え、避けた。このような状況は、まるで映画『メメント』のワンシーンのようだった。物語の始まりはどこなのか、そしてどのように終わりを迎えるのか。

私たちが選んだこの論文の発表方法が、今後のGPT-3共著研究の素晴らしいモデルになるのか、それとも戒めの物語になるのか、私たちには知る由もない。時間と査読だけがそれを教えてくれる。現在、GPT-3の論文は、投稿した学術雑誌の編集者が決まり、フランスが所有する国際的なプレプリントサーバー「HAL」で公開されている。主著者が異例であることが、調査・評価が長引いた原因だろう。この論文の出版が実現すれば、アカデミアにとってどのような意味を持つのか、待ち望んでいるところだ。もしかしたら、論文を何本出せるかで助成金や経済的な安定を図ることから脱却できるかもしれない。AI筆頭著者の助けを借りれば、1日1本は作れるだろう。

もしかしたら、それは何も生まないかもしれない。筆頭著者の地位は、今でも学問の世界で最も切望されるものの一つであり、人間でない筆頭著者のために滅びることはないだろう。結局のところ、私たちはAIをパートナーとして、あるいは道具として、将来的にどのように評価するかということに尽きるのだ。

今は簡単に答えが出るように思えるかもしれないが、数年後、この技術がどんなジレンマを刺激し、私たちがそれを解決しなければならないか、誰にもわからないだろう。私たちが知っているのは、私たちが門を開いたということだけだ。パンドラの箱を開けてしまわないように願うばかりだ。

※本記事は意見・分析記事であり、著者または執筆者によって表明された見解は、必ずしもScientific Americanのものではない。

Original Article: We Asked GPT-3 to Write an Academic Paper about Itself. Then We Tried to Get it Published

© 2022 Scientific American.