MITとアドビ、コードなしで画像生成アルゴリズムを再プログラム

先週、MITとアドビがarXivに送った研究は、高度なアルゴリズムとシンプルなユーザーインターフェースの組み合わせがいかに可能かを示している。このチームは、ユーザーが組み合わせて見たい被写体の画像をいくつか選択すると、それに基づいて画像生成アルゴリズムを書き換える方法を考え出した。

MITとアドビ、コードなしで画像生成アルゴリズムを再プログラム

先週、MITとアドビがarXivに送った研究は、高度なアルゴリズムとシンプルなユーザーインターフェースの組み合わせがいかに可能かを示している。このチームは、ユーザーが組み合わせて見たい被写体の画像をいくつか選択すると、それに基づいて画像生成アルゴリズムを書き換える方法を考え出した。

たとえば、帽子をかぶったジョッキーに乗られている馬の写真がある場合、馬の頭をクリックしてからジョッキーの帽子をクリックすると、アルゴリズムが帽子をかぶった馬の画像を生成する。ここで実際に動いているのを見ることができる例は、単純なものだが、コア技術は強力だ。

GANのような深層生成モデルは、対象分布に関する豊富な意味的・物理的ルールの集合をモデル化するために学習するが、そのようなルールがどのようにネットワークにエンコードされているのか、あるいはルールがどのように変更されているのかは、これまで不明瞭だった。

この論文「Rewriting a Deep Generative Model」(David Bau, Steven Liu, Tongzhou Wang, Jun-Yan Zhu, Antonio Torralba)では、新たな問題設定として、ディープ生成モデルによってエンコードされた特定のルールの操作を紹介している。この問題を解決するために、我々は、深層ネットワークの層を線形連想メモリとして操作することで、目的のルールを変更するという定式化を提案する。

チームは、連想メモリの一つのエントリを変更するためのアルゴリズムを導出し、いくつかの興味深い構造規則が、最先端の生成モデルの層の中に位置し、変更できることを実証した。また、ユーザが生成モデルのルールをインタラクティブに変更して目的の効果を得ることができるユーザインタフェースを提示し、いくつかの概念実証アプリケーションを示す。最後に、複数のデータセットを用いた結果から、標準的な微調整手法や編集転送アルゴリズムに対する本手法の優位性を実証する。

チームが採用した手法は、ジェネレーターの重みがOptimal Linear Associative Memory(OLAM)として機能するという仮説に基づいている。

OLAMは、1970年代にTeuvo KohonenとJames A Anderson(独立して)によって記述された、連想を記憶するための古典的な単層ニューラル・データ構造である。我々の場合、現代の大規模な多層畳み込みネットワークの中では、各層がOLAMの役割を果たしており、意味のある文脈を表すキーと出力を決定する値を関連付けるルールのセットを記憶しているという仮説を立てている。

彼らが提案する手法を使用して、シーン内のオブジェクトの新しい配置の追加、未定義の出力パターンの系統的な削除、物理的な光のモデリングのグローバルな変更など、いくつかの視覚的な編集効果を作成するために使用している。その手法はシンプルで高速であり、大量のアノテーションセットを必要としない。

Read more

コロナは世界の子どもたちにとって大失敗だった[英エコノミスト]

コロナは世界の子どもたちにとって大失敗だった[英エコノミスト]

過去20年間、主に富裕国で構成されるOECDのアナリストたちは、学校の質を比較するために、3年ごとに数十カ国の生徒たちに読解、数学、科学のテストを受けてもらってきた。パンデミックによる混乱が何年も続いた後、1年遅れで2022年に実施された最新の試験で、良いニュースがもたらされるとは誰も予想していなかった。12月5日に発表された結果は、やはり打撃となった。

By エコノミスト(英国)
中国は2024年に経済的苦境を脱するか?[英エコノミスト]

中国は2024年に経済的苦境を脱するか?[英エコノミスト]

2007年から2009年にかけての世界金融危機の後、エコノミストたちは世界経済が二度と同じようにはならないことをすぐに理解した。災難を乗り越えたとはいえ、危機以前の現状ではなく、「新常態」へと回復するだろう。数年後、この言葉は中国の指導者たちにも採用された。彼らはこの言葉を、猛烈な成長、安価な労働力、途方もない貿易黒字からの脱却を表現するために使った。これらの変化は中国経済にとって必要な進化であり、それを受け入れるべきであり、激しく抵抗すべきではないと彼らは主張した。 中国がコロナを封じ込めるための長いキャンペーンを展開し、今年その再開が失望を呼んだ後、このような感情が再び現れている。格付け会社のムーディーズが今週、中国の信用格付けを中期的に引き下げなければならないかもしれないと述べた理由のひとつである。何人かのエコノミストは、中国の手に負えない不動産市場の新常態を宣言している。最近の日米首脳会談を受けて、中国とアメリカの関係に新たな均衡が生まれることを期待する論者もいる。中国社会科学院の蔡昉は9月、中国の人口減少、消費者の高齢化、選り好みする雇用主の混在によってもたら

By エコノミスト(英国)
イーロン・マスクの「X」は広告主のボイコットにめっぽう弱い[英エコノミスト]

イーロン・マスクの「X」は広告主のボイコットにめっぽう弱い[英エコノミスト]

広告業界を軽蔑するイーロン・マスクは、バイラルなスローガンを得意とする。11月29日に開催されたニューヨーク・タイムズのイベントで、世界一の富豪は、昨年彼が買収したソーシャル・ネットワーク、Xがツイッターとして知られていた頃の広告を引き上げる企業についてどう思うかと質問された。「誰かが私を脅迫しようとしているのなら、『勝手にしろ』」と彼は答えた。 彼のアプローチは、億万長者にとっては自然なことかもしれない。しかし、昨年、収益の90%ほどを広告から得ていた企業にとっては大胆なことだ。Xから広告を撤退させた企業には、アップルやディズニーが含まれる。マスクは以前、Xがブランドにとって安全な空間である証拠として、彼らの存在を挙げていた。

By エコノミスト(英国)