ニュースコメント生成AIのトロールマシンとしての誤用可能性

Microsoft Researchと北京航空航天大学のチームが開発した「DeepCom」は、トロールの誤用可能性をはらんでおり、研究者からの非難を浴びた。

吉田拓史

2020年1月15日 — 2 min read

Microsoft Researchと北京航空航天大学のチームが開発した「DeepCom」は、英語と中国語で書かれたニュース記事を読んでコメントすることで、人間の行動を効果的に模倣できることを示しました。しかし、2019年9月26日に研究論文リポジトリarXivにアップロードされた元の論文は、誤情報の拡散、トローリング利用のような倫理的な問題について言及していませんでした。これは研究者らの反発を引き起こし、最終的に研究チームはそれらの懸念に対処する最新の論文をアップロードしなければいけませんでした。

プリンストン大学の情報技術政策センターのコンピューター科学者であるArvind Narayananは、Twitterの投稿で「北京の研究者による論文は、主な用途がトローリングと偽情報であると思われる新しい機械学習技術を提示している」と指摘しました。「自然言語処理研究のトップ3会場の1つであるEMLNP での出版が認められました。クールクールクール」。

特に顰蹙を買ったのは「ニュースの自動コメント生成は実際のアプリケーションには有益ですが、研究コミュニティからは十分な注目を集めていません」との主張でした。モデルが生成したコメントのおかげで、コメント欄が最初から賑わいを見せるため、読者がコメントを投稿する心理的障壁を取り除き、彼らの関心を維持し続ける、と彼らは主張しました。

「このようなシステムにより、コールドスタートからニュースWebサイトのコメントサービスが可能になり、コメントの少ないニュース記事の読みやすさが向上し、チャットボットなどの他の人工知能アプリケーションのスキルリストが充実します」。

しかし、彼らは明らかに多くの潜在的なマイナス面を及ぼす技術応用については言及しなかったのです。たとえば、権威主義的な権力は、この技術を応用すれば、プロパガンダを推進するために、大量の虚偽情報を自動的に投下するモデルを実装できます。

ニュースコメント生成AIは基本的には「トローリングマシン」に変貌を遂げてしまう可能性があります。自動生成コメントは、ボットが人間の意見を歪ませるために利用できるのは容易に想像がつきます。おそらく、悪意の人はそれを製品の宣伝やスパムの投稿の手段として使用するかもしれません。

The RegisterのKatyanna Quachが論争について報道した後、MicrosoftとBeihang Universityの研究者によって更新された論文は、倫理的な懸念の一部を認めてアップロードされました。また、更新されたバージョンでは、「自動ニュース生成が実際のアプリケーションにどのように役立つか」という元の論文の記述も削除されました。

「私たちは、これらの方法を適用して、人間と見なされるニュース解説を生成する潜在的な倫理的問題を認識しています」と研究者は更新された論文の結論に書きました。「技術の責任ある使用に関するこれらの方法のベストプラクティスとコントロールに関する議論を刺激したいと考えています」。

マイクロソフトは、以前、エンジニアリングおよび研究におけるAIと倫理（AETHER）委員会などのイニシアチブでAI倫理のリーダーとしての地位を確立してきました。

DeepComは、読み取りネットワークと生成ネットワークの2つのリカレントニューラルネットワークを採用しています。モデルはさまざまなレイヤーに分割され、記事のさまざまな部分を処理します。記事のさまざまな部分を見出しからコンテンツまで処理し、ストーリーのどの部分が特に重要または興味深いかを分析および予測します。

これらの予測は、生成ネットワークに渡されます。ここでは、モデルは記事の特定のトピックまたは関心のある人に焦点を当てた応答を作成し、生成したものを自然言葉化してコメントを作ります。

DeepComのパフォーマンスは、読み取りネットワークがストーリーから何を語るべきかをどの程度うまく特定するか、生成ネットワークがどれだけコメントをうまく作成するかによって決まります。研究者は、オンラインの記事に投稿された数百万の実際の人間のコメントをスクレイピングする中国語のデータセットでモデルをトレーニングしました。英語に関してはYahoo! Newsから取得したデータセットを使用しました。

読み取りネットワークをトレーニングするために、研究者は、トレーニングデータのコメントが対応する記事の情報とどの程度関連しているかを計算し、その重要な部分を特定しました。たとえば、記事が映画のレビューであり、コメントが特定の女優または俳優について議論している場合、リーディングネットワークは女優または俳優の正しい名前を選択する必要があります。その情報が生成ネットワークに渡されると、モデルはその女優または俳優に関するコメントを書き込みます。