Facebook、バグや脆弱性を発見するAIシミュレーションツールの詳細を公開

要点

Facebookは2020年7月23日、複雑なソーシャルネットワークの大規模シミュレーションを構築するためのアプローチであるWeb-Enabled Simulation（WES）の詳細を発表した。既報の通り、WESはAI技術を活用してボットを訓練し、ソーシャルメディア上での人々の行動をシミュレーションするもので、Facebookはバグや脆弱性を発見するために利用したいとしている。

Facebookによると、人は人と人の間でもオンラインでも、従来のアルゴリズムではモデル化が困難な方法で行動し、相互に影響し合っている。例えば、人々の行動は時間の経過とともに進化し、適応していくものであり、地域ごとに異なるため、個人やコミュニティが環境の変化にどのように対応するかを予測することは困難だ。

WESは、数千、数百万のユーザーライクなボット間のインタラクションを自動化することで、表向きはこの問題を解決している。オンラインとオフラインのシミュレーションを組み合わせて、ヒューリスティックと教師付き学習、強化学習技術を用いてボットを訓練することで、WESは、スピード、スケール、リアリズムなどの工学的な問題を考慮した様々なシミュレーション特性を提供している。

ボットはFacebookの何億行ものコード上に配置されているが、実際のユーザーからは隔離されており、自分自身としか対話できないようになっている（ただし、実際のFacebookに "プライバシー保護"のためにアクセスできる "読み取り専用 "のボットは除く）。しかし、Facebookは、このリアル・インフラストラクチャ・シミュレーションにより、ボットの行動がプラットフォームを利用する人々が目撃するであろう効果に忠実であることを保証していると主張している。

WESボットは、ハッカーが誰かのプライベートな写真にアクセスしようとするなど、さまざまなシナリオを演じるように作られている。各シナリオでは数台のボットが演じているだけかもしれないが、システムは何千もの異なるシナリオを並行して実行できるように設計されている。

「我々はボットをある意味で実際のユーザーのように振る舞うように訓練する必要があります。"マーク・ハーマン氏、ロンドン大学カレッジのコンピュータサイエンス教授であり、Facebookの研究科学者でもある彼は、記者との電話の中で説明した。「特定の用途をモデル化する必要はないので、実際のユーザーが示すような高レベルの統計的特性を持っている必要があります...しかし、私たちが得たシミュレーション結果は、実際のユーザーが行うであろう行動にはるかに近く、より忠実なものになっている」。

Facebookは、WESはまだ研究段階であり、本番には配備されていないと指摘している。しかし、ある実験では、同社の科学者たちがWESを使って、Facebookの本番用コードベースの上に構築されたシミュレーション「WW」を作成した。WWは、Facebookのプラットフォーム上で禁止されているアイテム（銃や麻薬など）を購入しようとするボットを生成したり、お互いに詐欺を試みたり、検索やページの訪問、メッセージの送信などのアクションを実行したりすることができます。また、メカニズム設計コンポーネントのおかげで、WWはボットがFacebookのセーフガードに違反するかどうかをテストするためのシミュレーションを実行することができ、統計的なパターンや製品のメカニズムを特定して、Facebookのコミュニティ基準に違反するような行動をしにくくすることができる。

人間の行動をモデル化できないことを受け入れなければならないAIによって設計されたゲームを評価する問題に類似性があり、ゲームを評価するためには、引き分けの可能性や、より熟練したエージェントが常に熟練していないものを打ち負かすことを確認するように測定できるものに焦点を当てなければならない。ボットをネットワークのコピーを徘徊させてボタンを押して何かを試すことは、バグを見つけるための素晴らしい方法であり、私たちが大小のソフトウェアをテストするために何年も何年も（何らかの方法で）行ってきたことだ。

Facebookの分析によると、最も影響力のあるプロダクションバグの25%がソーシャルバグであり、そのうちの10%はWESを使って発見することができた。この方向での研究に拍車をかけるために、同社は先日、学術研究者や科学者を対象に、WESやWWに新しいアイデアを提供してくれる人を募集するプロポーザルのリクエストを開始した。Facebookによると、これまでに85件の応募があったという。

WESとWWは、FacebookのSapienzシステムをベースに構築されており、同社のモバイルアプリのコードベース全体で毎日何万件ものテストケースを自動的に設計し、実行し、その結果を報告するとともに、SybilEdgeの偽アカウント検出機能も備えている。同社のもう一つのシステムであるディープエンティティ分類（DEC）は、AIフレームワークを介して何億人もの詐欺の可能性のあるユーザーを識別する。

しかし、コンテンツの節度をAIや機械学習に委ねるFacebookの取り組みは、せいぜい不均等なものになっている。5月には、フェイスブックの自動システムは、プラットフォーム上でマスクを手縫いする作業をしているグループの主催者をコメントや投稿から追放すると脅し、グループが完全に削除される可能性があることを通知した。また、スパムとしてパンデミックについての合法的なニュース記事をマークした。

Facebookは、AIがすべてではないことを認めつつ、バグにこれらのミスステップを起因としています。同時に, その最も最近の四半期ごとのコミュニティ標準レポートで, それはリリースされませんでした - そして、それは推定することができなかったと言う - その憎しみのスピーチ検出システムの精度. (第1四半期に削除された960万件の投稿のうち、Facebookは、ユーザーが報告する前に88.8%を同社のソフトウェアが検出したと述べている)。

不快なコンテンツが定期的にFacebookのフィルターをすり抜けている証拠がある。シアトル大学のケイトリン・カールソン准教授は1月、彼女と同僚がFacebookのヘイトスピーチルールに違反していると思われる300以上の投稿を集め、サービスのツールを使って報告した実験の結果を発表した。最終的に削除されたのは、投稿のうち約半分だけだった。

参考文献

1. John Ahlgren, Maria Eugenia Berezin, Kinga Bojarczuk, Elena Dulskyte, Inna Dvortsova, Johann George, Natalija Gucevska, Mark Harman, Ralf Lämmel, Erik Meijer, Silvia Sapora, Justin Spahr-Summers. WES: Agent-based User Interaction Simulation on Real Infrastructure.

Image Courtesy of Facebook