ニュースコメント生成AIのトロールマシンとしての誤用可能性

Microsoft Researchと北京航空航天大学のチームが開発した「DeepCom」は、トロールの誤用可能性をはらんでおり、研究者からの非難を浴びた。

ニュースコメント生成AIのトロールマシンとしての誤用可能性

Microsoft Researchと北京航空航天大学のチームが開発した「DeepCom」は、英語と中国語で書かれたニュース記事を読んでコメントすることで、人間の行動を効果的に模倣できることを示しました。しかし、2019年9月26日に研究論文リポジトリarXivにアップロードされた元の論文は、誤情報の拡散、トローリング利用のような倫理的な問題について言及していませんでした。これは研究者らの反発を引き起こし、最終的に研究チームはそれらの懸念に対処する最新の論文をアップロードしなければいけませんでした。

プリンストン大学の情報技術政策センターのコンピューター科学者であるArvind Narayananは、Twitterの投稿で「北京の研究者による論文は、主な用途がトローリングと偽情報であると思われる新しい機械学習技術を提示している」と指摘しました。「自然言語処理研究のトップ3会場の1つであるEMLNP での出版が認められました。 クールクールクール」。

特に顰蹙を買ったのは「ニュースの自動コメント生成は実際のアプリケーションには有益ですが、研究コミュニティからは十分な注目を集めていません」との主張でした。モデルが生成したコメントのおかげで、コメント欄が最初から賑わいを見せるため、読者がコメントを投稿する心理的障壁を取り除き、彼らの関心を維持し続ける、と彼らは主張しました。

「このようなシステムにより、コールドスタートからニュースWebサイトのコメントサービスが可能になり、コメントの少ないニュース記事の読みやすさが向上し、チャットボットなどの他の人工知能アプリケーションのスキルリストが充実します」。

しかし、彼らは明らかに多くの潜在的なマイナス面を及ぼす技術応用については言及しなかったのです。たとえば、権威主義的な権力は、この技術を応用すれば、プロパガンダを推進するために、大量の虚偽情報を自動的に投下するモデルを実装できます。

ニュースコメント生成AIは基本的には「トローリングマシン」に変貌を遂げてしまう可能性があります。自動生成コメントは、ボットが人間の意見を歪ませるために利用できるのは容易に想像がつきます。おそらく、悪意の人はそれを製品の宣伝やスパムの投稿の手段として使用するかもしれません。

The RegisterのKatyanna Quachが論争について報道した後、MicrosoftとBeihang Universityの研究者によって更新された論文は、倫理的な懸念の一部を認めてアップロードされました。また、更新されたバージョンでは、「自動ニュース生成が実際のアプリケーションにどのように役立つか」という元の論文の記述も削除されました。

「私たちは、これらの方法を適用して、人間と見なされるニュース解説を生成する潜在的な倫理的問題を認識しています」と研究者は更新された論文の結論に書きました。「技術の責任ある使用に関するこれらの方法のベストプラクティスとコントロールに関する議論を刺激したいと考えています」。

マイクロソフトは、以前、エンジニアリングおよび研究におけるAIと倫理(AETHER)委員会などのイニシアチブでAI倫理のリーダーとしての地位を確立してきました。

DeepComは、読み取りネットワークと生成ネットワークの2つのリカレントニューラルネットワークを採用しています。モデルはさまざまなレイヤーに分割され、記事のさまざまな部分を処理します。記事のさまざまな部分を見出しからコンテンツまで処理し、ストーリーのどの部分が特に重要または興味深いかを分析および予測します。

これらの予測は、生成ネットワークに渡されます。 ここでは、モデルは記事の特定のトピックまたは関心のある人に焦点を当てた応答を作成し、生成したものを自然言葉化してコメントを作ります。

DeepComのパフォーマンスは、読み取りネットワークがストーリーから何を語るべきかをどの程度うまく特定するか、生成ネットワークがどれだけコメントをうまく作成するかによって決まります。研究者は、オンラインの記事に投稿された数百万の実際の人間のコメントをスクレイピングする中国語のデータセットでモデルをトレーニングしました。英語に関してはYahoo! Newsから取得したデータセットを使用しました。

読み取りネットワークをトレーニングするために、研究者は、トレーニングデータのコメントが対応する記事の情報とどの程度関連しているかを計算し、その重要な部分を特定しました。たとえば、記事が映画のレビューであり、コメントが特定の女優または俳優について議論している場合、リーディングネットワークは女優または俳優の正しい名前を選択する必要があります。その情報が生成ネットワークに渡されると、モデルはその女優または俳優に関するコメントを書き込みます。

参考文献

Read, Attend and Comment: A Deep Architecture for Automatic News Comment Generation. Ze Yang† , Can Xu, Wei Wu, Zhoujun Li.

Photo by Franck V. on Unsplash

Read more

OpenAI、法人向け拡大を企図 日本支社開設を発表

OpenAI、法人向け拡大を企図 日本支社開設を発表

OpenAIは東京オフィスで、日本での採用、法人セールス、カスタマーサポートなどを順次開始する予定。日本企業向けに最適化されたGPT-4カスタムモデルの提供を見込む。日本での拠点設立は、政官の積極的な姿勢や法体系が寄与した可能性がある。OpenAIは法人顧客の獲得に注力しており、世界各地で大手企業向けにイベントを開催するなど営業活動を強化。

By 吉田拓史
アドビ、日本語バリアブルフォント「百千鳥」発表  往年のタイポグラフィー技法をデジタルで再現

アドビ、日本語バリアブルフォント「百千鳥」発表 往年のタイポグラフィー技法をデジタルで再現

アドビは4月10日、日本語のバリアブルフォント「百千鳥」を発表した。レトロ調の手書き風フォントで、太さ(ウェイト)の軸に加えて、字幅(ワイズ)の軸を組み込んだ初の日本語バリアブルフォント。近年のレトロブームを汲み、デザイン現場の様々な要望に応えることが期待されている。

By 吉田拓史
新たなスエズ危機に直面する米海軍[英エコノミスト]

新たなスエズ危機に直面する米海軍[英エコノミスト]

世界が繁栄するためには、船が港に到着しなければならない。マラッカ海峡やパナマ運河のような狭い航路を通過するとき、船舶は最も脆弱になる。そのため、スエズ運河への唯一の南側航路である紅海で最近急増している船舶への攻撃は、世界貿易にとって重大な脅威となっている。イランに支援されたイエメンの過激派フーシ派は、表向きはパレスチナ人を支援するために、35カ国以上につながる船舶に向けて100機以上の無人機やミサイルを発射した。彼らのキャンペーンは、黒海から南シナ海まですでに危険にさらされている航行の自由の原則に対する冒涜である。アメリカとその同盟国は、中東での紛争をエスカレートさせることなく、この問題にしっかりと対処しなければならない。 世界のコンテナ輸送量の20%、海上貿易の10%、海上ガスと石油の8~10%が紅海とスエズルートを通過している。数週間の騒乱の後、世界の5大コンテナ船会社のうち4社が紅海とスエズ航路の航海を停止し、BPは石油の出荷を一時停止した。十分な供給があるため、エネルギー価格への影響は軽微である。しかし、コンテナ会社の株価は、投資家が輸送能力の縮小を予想している

By エコノミスト(英国)