要点

企業や警察は機械学習を利用してクレジットカード詐欺未遂事件の摘発に成功している一方、クラッカーも同様に、機械学習で独自の合成IDを作成し、AIの目をかわしている。フェイクニュース、虚偽画像、虚偽音声などでも同様の「悪いAI対良いAI」の軍拡競争が始まっている。

クレカ詐欺における機械学習軍拡競争

人工知能(AI)は、クレジットカード詐欺未遂事件の摘発に大きく貢献しており、私たちのほとんどがクレジットカード発行会社からクラッカーによる購入未遂の確認の連絡を受けたことがある。機械学習(ML)を利用して、クレジット保有者の通常の行動パターンを表示する「合成ID」を作成することで、金融機関はリアルタイムで異常な行動を発見することができる。

残念ながら、クラッカーも同様にAIを使って独自の合成IDを作成し、異常な行動を検知したAIを欺くほどリアルな結果を出している。

このAIの戦いは、詐欺師とセキュリティの戦いでもあり、フェイクニュース、フェイクビデオ、フェイクオーディオの領域でも戦われている。こうして軍拡競争が始まったのである。AI対AIである。

Jupiter ResearchのSteffen Sorrellによると、合成IDはクレジットカード詐欺の「下火になる果実」だという。ジュピター・リサーチの最新のオンライン決済詐欺レポートによると、合成IDはオンライン決済詐欺を2024年までに悪者に2,000億ドルの損失をもたらすとしている。また、悪者にとっては、詐欺検知市場が今年の85億ドルから同期間に100億ドルに達することにもつながっている。

「オンライン詐欺は、高度に発達した分業制のエコシステムの中で行われている。クラッカーは、手作業でカードを「スキミング」するものから、AIを使って合成IDを作成するものまで、さまざまなタイプの犯罪に特化しているという。他にも、盗まれたカード番号やクレデンシャルを、慈善団体やデジタルグッズの販売店などのソフトなターゲットに対してテストして、キャンセルされていないことを確認するものもある。正確な名前、住所、CVV(カード検証値)が記載された高限度額のクレジットカード番号は、ダークウェブ上のインターネットのブラックマーケットで1ドル以下で購入できると言われている。

詐欺師は、これらの検証済みカードのリストを購入し、任意の数のオンラインスキームで収益化することができる。これらの犯罪者はAIを多用しており、正規の開発者と同じようにインターネットのフォーラムでソフトウェアツールやヒントを共有している。

これらの大量の偽物は、本物の名字と名字の後に乱数を組み合わせてリアルな電子メールアドレスを生成して登録する小規模なプログラムから、複数の実在の人物の情報のビットを組み合わせて合成IDを作成する大規模なMLプログラムまで、あらゆる種類のAIやその他の自動化技術を使用しているという。 詐欺探知機が合成IDをチェックすると、偽の電子メールアカウントやFacebookページなど、合成IDの詳細が詐欺師によって記録されていることがわかるインターネット上の存在を発見することがよくあるという。

このようにして、サイバーセキュリティ・プログラマーの詐欺検知スキルは、ブラックハットの詐欺作成スキルと対になっている。これらの詐欺作成スキルは、クレジットカード詐欺だけでなく、画像認識や音声認識の分野にも応用されており、フェイクニュースやフェイクビデオ、フェイクオーディオを作成するために、これらのツールが逆に利用されている。

ディープフェイク詐欺は、悪いAIと良いAIが一時的に優勢になるため、もぐらたたきのゲームである。詐欺師は、インターネット上の正当なユーザーと同じように、摩擦に反応する。詐欺師に過度の摩擦を与えて我々が優位に立つと、詐欺師は、詐欺検知器によって保護されていない、よりソフトなターゲットに移動します。優れた詐欺対策は、悪者にとっては摩擦を増やし、善良な顧客にとっては摩擦を減らすことになります。しかし、一方の側の進歩は、他方の側の戦略のシフトを引き起こす。

インターネットが普及したばかりの頃は、オンラインで盗む価値のあるものがあまりなかったため、詐欺師はほとんどの場合、オンラインでクレジットカードをテストしてから、実際に商品を購入して収益化していた。

今日では、オンラインでの取引は悪者にとっても我々にとっても便利なものとなっており、セキュリティチップを内蔵したクレジットカードの普及により、対面での取引は詐欺師にとって危険なものとなり、結果として詐欺行為はますますオンラインに移行している。

その結果、不正行為を検知するAIがより詳細な分析を行うようになってきているという。2020年に成功する詐欺防止方法は、大規模なデータセットにまたがって詐欺に内在するパターンを探すことに依存していると言われる。

フェイクニュースの記事を自動的に作成するために、すでにAIが利用されている。例えば、OpenAIのプロトタイプの文章生成システム「GPT-3」は、機械学習を使って文章を翻訳したり、質問に答えたり、フェイクニュースを書いたりする。

GPT-3生成のブログがハッカーニュースで1位

すでにGPT-3が書いたブログは、人々を感心させることに成功している。カルフォルニア大学バークリー校の大学生のLiam Porrが言語生成AIツール「GPT-3」を使って偽のブログ記事を作成したところ、ハッカーニュースで1位になった。Porrは、GPT-3によって生成されたコンテンツが人間によって書かれたものだと信じ込ませることができることを実証した。彼は「実際には超簡単だった、それが怖いところだった」と語っている。

PorrはGPT-3のプライベートベータ版へのアクセスを持つ博士課程の学生と協力し、小さなスクリプトを書いた。スクリプトはGPT-3にブログ記事の見出しと紹介文を与え、いくつかの完成したバージョンを吐き出させた。Porrの最初の投稿(Hacker Newsに掲載されたもの)とそれ以降の投稿は、ほとんど編集をせずに、出力されたものをコピー&ペーストしたものだったという。

GPT-3は、きれいな言語を作るのは得意だが、論理的で合理的であることはあまり得意ではない。そこで彼は、厳密な論理を必要としない人気のあるブログのカテゴリー、つまり生産性と自己啓発を選んだ。ヒットしたブログのタイトルは「Feeling unproductive? Maybe you shouild stop overthinking」(非生産的になっている? 深刻に考えすぎないほうがいい)だったという。Porrは、GPT-3が人間のライターとして成り済ますことができることを証明した。

GPT-3生成のブログ、ハッカーニュースで1位に
カルフォルニア大学バークリー校の大学生のLiam Porrが言語生成AIツール「GPT-3」を使って偽のブログ記事を作成したところ、ハッカーニュースで1位になった。Porrは、GPT-3によって生成されたコンテンツが人間によって書かれたものだと信じ込ませることができることを実証した。

低くなる一方のディープフェイクの生成コスト

ディープフェイクの技術はかつてから存在していたが、最近になって「民主化」され、技術的なノウハウをほとんど持たない個人でも簡単にディープフェイクを作成できるようになった。

ディープフェイクとは?
進化するディープフェイク技術によって、実際には起きなかったシーンの証拠を作ることが可能になったことで、不安が高まっています。有名人が知らず知らずのうちにポルノの主役になっていたり、政治家が実際には言ったことのない言葉を話しているように見えるビデオに登場したりしています。

8月初旬に開かれた「ブラックハット・コンピュータ・セキュリティ・カンファレンス」で、セキュリティ会社FireEyeのデータサイエンティストであるフィリップ・タリーは、人工知能研究所のオープンソースのソフトウェアがどれだけ簡単に誤報キャンペーンに適応できるかを例証した。

タリーのディープフェイ実験は、学術や企業のAI研究グループが最新の進歩を公然と公開し、しばしばコードを公開する方法(オープンソース)を利用したものだ。彼は「ファインチューニング」として知られている技術を使った。これは、大規模なデータセットの例を使って多額の費用をかけて構築された機械学習モデルを、はるかに小さな例のプールを使って特定のタスクに適応させるものだ。

偽トム・ハンクスを作るために、タリーは昨年、Nvidiaが公開した顔生成モデルを適応させた。Nvidiaは、強力なグラフィック・プロセッサのクラスタ上で数日かけて数百万の例題の顔を処理することで、そのソフトウェアを作った。タリーは、それをクラウドでレンタルした1台のGPU上で、1日もかからずにハンクス・ジェネレーターに適応させた。別の方法として、彼は自分のラップトップと30秒の音声クリップ3つ、そして大学院生がGoogleの音声合成プロジェクトをオープンソースで再現したものだけを使って、数分でハンクスの声を複製した。

敵対的生成ネットワーク(GAN)で生成されたこの世に存在しない人達の顔。

AI研究者間の競争がさらなる進歩を促し、それらの結果が共有されると、ディープフェイクの生成コストはもっと低くなる可能性が高い。このままでは、社会全体に悪影響を及ぼす可能性がある。

一般の人々にとっては、本物のキャンペーンビデオと見分けがつかないようなディープビデオの偽物が、2020年の米国大統領選挙期間中に初めて表面化する可能性が高い。ディープフェイク音声は、すでにサイバー犯罪者が送金詐欺に成功している。例えば、ウォール・ストリート・ジャーナル紙は、企業の最高経営責任者(CEO)の声を模倣した深い偽物の電話が、企業を騙して24万3000ドルをサイバー犯罪者に振り込ませたと報じている。この偽物は最終的に発見されたが、資金は当局が追跡できない電信送金のネットワークを経由して長い間行方不明になっていた。

「安くて簡単なディープフェイク」の登場
セキュリティ会社のデータサイエンティスト、フィリップ・タリーは、ハンクスの画像をオンラインで数百枚集め、オープンソースの顔生成ソフトウェアを選んだ被写体に合わせて調整するために100ドル弱の費用をかけるだけで、画像を作ることができた。調整したソフトウェアを使って、彼はハンクスの顔を作ることは容易だった。

AIを騙す手法の発達

また、AIを騙す手法も発達を続けている。写真のわずか数ピクセルを変更してAIソフトウェアに幻覚を起こさせたり、存在しない物体を検出したりするようなトリックを扱う論文が生まれている。

誤認識を誘発する技術には「ドルフィン・アタック」という超音波で音声認識AIを誤認識させるというものがある。中国・浙江大学はその研究報告のなかで、ドルフィン・アタックは家庭用アシスタントやスマートフォンを誤認させることができるとし、攻撃に対する防御策が必要だと注意を喚起した。

最近では、MITと香港大学、シンガポール科学技術庁が共同で、自然言語処理システムを無力化するプログラム「TextFooler」を開発したとして話題だ。TextFoolerは文章内の特定の重要な単語を同義語に置き換えるプログラムだが、変換された文章はAIでは非常に認識しづらくなる。たとえば、グーグルの自然言語処理モデル「BERT」であっても、誤認識率が5~7倍に跳ね上がったとの結果が発表されている。

家庭用アシスタントやスマートフォンなど、自然言語処理システムをベースにした端末が普及しているため、TextFoolerを用いた実験結果は、人々の生活に潜在的なリスクが広がっていることを示唆している。また現在のSNSやEメールなどは、自然言語処理システムに依存してスパムや違法な広告・コンテンツを認知・削除しているが、TextFoolerのようなプログラムを用いれば、その「監視網」を突破できるということが証明されてしまった。

さらに、最近の研究では、多面的な形状の物体を3Dプリントしたところ、Baidu社が開発した自動運転車のプロトタイプのライダー・ソフトウェアから検知できないことが確認された。ほかにも、機械学習アルゴリズムの訓練に使用されるデータを改ざんしてパフォーマンスを低下させる「データポイズニング」などの攻撃手法も指摘されている。

Facebookが10万のディープフェイクのデータセットを公開
FacebookはAIを利用して、AIが生成した偽物を撃退しようとしている。加工を加えられた動画を見分けるためにAIを訓練するために、過去最大規模のディープフェイクのデータセットを公開した。3,426人の俳優と既存の顔の入れ替え技術を使って作成された10万以上の写真クリップである。
Facebookの特命チームが画像検出AIをハッキング
Facebookはポルノ画像分類器などを騙す手法を防ぐため、自社のAIシステムのクラックを実行する「レッドチーム」を組織。彼らは自ら発見した攻撃手法を基に新しい防御手段を提案する。彼らは選挙を控え、分類機をかいくぐるフェイクニュースを最小化する取り組みを始めている。
テンセント「ディープフェイクは実は役に立つかもしれない」
AI計画に関する新しいホワイトペーパーの中で、テンセントは、同社は、ディープフェイク技術は 「単なる『フェイク』や『ごまかし』ではなく、高度に創造的で画期的な技術である」と強調している。規制当局に対しては、社会に潜在的な利益をもたらす可能性のある技術を取り締まることを避けるよう促している。

Photo by Pablo Rebolledo on Unsplash