ドナルド・トランプの逮捕を装ったAI生成写真（Midjourney v5を使用してEliot Higginsが作成）。

ChatGPT、DALL-Eなどの生成AIに電子透かしを入れれば、詐欺や誤情報を防げるかもしれない

スパム、マルウェア、フィッシングなどのサイバー脅威に対して社会が数十年にわたる戦いを挑んできたのと同じように、生成AIを使って行われるさまざまな形態の悪用から身を守るために、同様に長期にわたる戦いに備える必要があります。

The Conversation 28 3月 2023

ドナルド・トランプ前大統領の起訴が迫っているという噂が流れた直後、彼の逮捕を示すとされる画像がネット上に現れました。これらの画像は報道写真のように見えたが、偽物であった。生成型人工知能システムによって作成されたものでした。

DALL-E、Midjourney、Stable Diffusionなどの画像生成ツールや、Bard、ChatGPT、Chinchilla、LLaMAなどのテキスト生成ツールといった形で、生成型AIは公共の場で爆発的に普及しました。これらのシステムは、巧妙な機械学習アルゴリズムと何十億もの人間が作成したコンテンツを組み合わせることで、キャプションから不気味なほどリアルな画像を作成したり、ジョー・バイデン大統領の声でスピーチを合成したり、ビデオ内の人物の肖像を別の人に置き換えたり、タイトルから一貫した800語の論説を書くなど、あらゆることが可能です。

まだ始まったばかりですが、ジェネレーティブAI（生成AI）は非常にリアルなコンテンツを作成することが可能です。私の同僚であるソフィー・ナイチンゲールと私は、一般の人は実在の人物とAIが生成した人物の画像を確実に区別することができないことを発見しました。音声や映像はまだ不気味の谷を完全に通過していませんが、不気味の谷（リアルに近いけどリアルでないために不安になる人物の画像やモデル）は近いうちに通過する可能性があります。そうなれば、現実を歪めることはますます容易になっていくでしょう。

この新しい世界では、CEOが自社の利益が20％減少したと発言し、それが数十億の市場シェア喪失につながる可能性のあるビデオを作成したり、世界の指導者が軍事行動を脅かすビデオを作成し、地政学的危機を誘発したり、性的なビデオに誰の肖像も挿入することが簡単にできるようになります。

実在の人物のフェイク動画を作る技術は、ますます利用しやすくなっています。

ジェネレイティブAIの進歩により、フェイクでありながら視覚的に説得力のあるコンテンツがネット上に蔓延し、情報の生態系がさらに混乱する日も近いでしょう。また、警察による暴力や人権侵害から、世界の指導者が極秘文書を燃やしている様子まで、実際の証拠映像を簡単にフェイクと断じることができるようになることも、二次的な影響として考えられます。

社会は、ほぼ間違いなく生成AIの進歩のほんの始まりに過ぎないと思われる事態を見つめていますが、こうした悪用を軽減するために使用できます、合理的で技術的に実現可能な介入方法が存在します。画像フォレンジックを専門とするコンピュータサイエンティストとして、私はその重要な方法の一つが電子透かしであると信じています。

電子透かし

文書やその他の物品が真正であることを証明し、所有権を示し、偽造に対抗するために印をつけることは、長い歴史があります。現在、巨大な画像アーカイブであるゲッティイメージズでは、カタログに掲載されているすべてのデジタル画像に目に見える透かしを追加しています。これにより、ゲッティの資産を保護しつつ、顧客は自由に画像を閲覧することができます。

また、電子透かしはデジタル著作権管理にも利用されています。電子透かしをデジタル画像に追加するには、例えば、画像の10番目のピクセルごとに、その色（通常は0～255の範囲の数値）が偶数値になるように調整する必要があります。このピクセルの微調整は非常に小さいため、電子透かしは知覚できないです。また、この周期的なパターンは自然には起こりにくく、簡単に検証できるため、画像の出所を確認するために使用することができます。

中解像度の画像でも数百万個の画素があるため、生成ソフトウェアを暗号化した固有の識別子や固有のユーザーIDなど、付加的な情報を電子透かしに埋め込むことができます。これと同じタイプの知覚されない電子透かしは、オーディオやビデオに適用することができます。

理想的な電子透かしは、知覚されないだけでなく、トリミング、リサイズ、色調整、デジタルフォーマットの変換などの簡単な操作に強いものであります。ピクセルカラー電子透かしの例では、色の値を変更することができるため、耐性のあるものではありませんが、多くの電子透かし戦略が提案されており、電子透かしを除去しようとする試みに対して、不浸透ではないものの、頑健です。

電子透かしとAI

この電子透かしは、すべての学習データに電子透かしを入れることで生成AIシステムに焼き付けることができ、その後生成されるコンテンツにも同じ電子透かしを入れることができます。この電子透かしの組み込みは、画像生成ツール「Stable Diffusion」のように、電子透かし処理を画像生成ソフトウェアから削除される心配がなく、生成AIツールをオープンソース化できることを意味し、魅力的です。Stable Diffusionには電子透かし機能がありますが、オープンソースであるため、誰でもその部分を削除するだけでよいのです。

OpenAIは、ChatGPTの作品に電子透かしを入れるシステムを実験しています。段落の文字は、もちろん画素値のようにいじれないので、テキストの透かしは別の形になります。

テキストベースの生成AIは、文の中で次に合理的な単語を生成することを基本としています。例えば、"an AI system can... "という文章から、ChatGPTは次の単語を "learn", "predict", "understand "と予測します。これらの単語には、それぞれの単語が文中に次に現れる可能性に対応する確率が関連付けられています。ChatGPTは、これらの確率を、大量のテキストから学習させました。

生成されたテキストは、単語のサブセットを密かにタグ付けし、同義のタグ付けされた単語を選択するようにバイアスをかけることで電子透かしを入れることができます。例えば、"understand "の代わりに "comprehend "というタグ付き単語を使用することができます。このように定期的に単語の選択を偏らせることで、タグ付けされた単語の特定の分布に基づいてテキスト本文を透かします。この方法は短いツイートには使えませんが、電子透かしの詳細にもよりますが、800ワード以上のテキストには概ね有効です。

生成AIシステムは、すべてのコンテンツに電子透かしを入れることができますし、そうすべきだと思います。そうすることで、下流での識別が容易になり、必要に応じて介入することができます。もし業界が自主的にこれを行わないのであれば、法律家がこのルールを施行するための規制を設けることも可能です。もちろん、不誠実な人たちは、このような基準を遵守しないでしょう。しかし、AppleやGoogleのアプリストア、Amazon、Google、Microsoftのクラウドサービス、GitHubといった主要なオンラインゲートキーパーが、準拠しないソフトウェアを禁止することでこのルールを実施すれば、被害は大幅に減少するはずです。

本物のコンテンツに署名する

この問題を解決するために、同じようなアプローチで、撮影時にオリジナルのオーディオビジュアルを認証することができます。専用のカメラアプリを使えば、録画されたコンテンツに暗号化された署名を付けることができます。この署名は、改ざんを試みた証拠を残さずに改ざんすることはできません。この署名は、集中管理された信頼できる署名のリストに保存されます。

テキストには適用できませんが、オーディオビジュアルコンテンツは、人間が作成したものであることを検証することができます。メディアを認証するための標準を作成する共同作業であるCoalition for Content Provenance and Authentication（C2PA）は、最近このアプローチをサポートするオープン仕様をリリースしました。Adobe、Microsoft、Intel、BBCなどの主要機関がこの取り組みに参加しており、C2PAは効果的で広く普及する認証技術を生み出すのに十分な位置にあります。

人間が作成したコンテンツとAIが作成したコンテンツの署名と電子透かしを組み合わせることで、あらゆる形態の不正使用を防ぐことはできませんが、ある程度の保護は可能になるでしょう。敵が最新技術を武器にする新しい方法を見つけると、どのような保護手段も継続的に適応・改良される必要があります。