パノプティコンは人類を幸福にする？
パノプティコンのような監視は現代社会の重要な側面だ。ヒトの社会は大きな分岐点にぶつかっており、残酷な監視社会に化けるか、それとも功利主義的な最大幸福の世界に化けるか、注視していく必要がある
「監視社会」という言葉を哲学において鮮明に打ち出したのは、フランスの哲学者ミシェル・フーコーの『監獄の誕生 - 監視と処罰』（1974年）だ。フーコーはイギリスの功利主義哲学者ジェレミー・ベンサムが考案した監獄「パノプティコン（一望監視施設）」にもとづいて、近代社会のあり方をパノプティコン社会と見なした。
パノプティコンとは、刑務所の独房の輪の中に置かれた中央の展望塔の形で生命を吹き込まれた規律的な概念である。
フーコーはパノプティコンについて次のように説明している。「ベンサムの「パノプティコン」はこの塔は、環状の建物の内側に開口する幅の広い窓で貫かれており、環状の建物はセルに分割され、それぞれのセルは建物の幅全体に広がっている。必要なのは、中央の塔に監督者を配置し、各独房に狂人、患者、死刑囚、労働者、学生を閉じ込めることだけである。逆光の効果によって、人は塔から、光に対して正確に立っている、周辺のセル内の小さな囚われの影を提供することができる」（"Panopticism" from Discipline & Punish: The Birth of the Prison by Michel Foucault、筆者抄訳）
「それは、それぞれのアクターが一人であり、完全に個性化され、常に目に見えるようになっている、多くの檻、多くの小さな劇場のようなものである。パノプティックのメカニズムは、空間的な統一性を整えることで、常に見ることができ、すぐに認識できるようにしている。要するに，ダンジョンの原理を逆にしたものであり，むしろ，「囲う」「光を奪う」「隠す」という3つの機能のうち，前者の機能のみを果たし，他の2つの機能を排除している」（同上）
一人の看守がすべての受刑者の独房を一度に監視することは物理的に不可能であるが、受刑者がいつ監視されているかを知ることができないという事実は、受刑者が常に監視されているかのように行動しようとする動機付けになることを意味している。
「それゆえ、パノプティコンの主な効果は、権力の自動機能を保証する意識的で恒久的な可視性の状態を人に誘導することである。つまり、監視は、たとえその作用が不確かなものであっても、その効果が永続的であるように、 物事を調整すること、権力の完成は、その実際の行使を不要にする傾向があること、この建築的な装置は、それを行使する人とは無関係の権力関係を創造し、維持するための機械であるべきであること、要するに、受刑者は、自分自身が権力の状況に巻き込まれるべきであること、である。これを達成するためには、受刑者が検査官によって常に観察されるべきであるということは、、重要なのは、観察されることを自分自身が知っているということでる。この点を考慮して、ベンサムは、権力は目に見えるものであるべきであり、証明できないものであるべきであるという原則を定めた」（同上）。
フーコーはベンサムが「最大多数の最大幸福」のための装置とみなしたパノプティコンを監獄と呼んだ。ベンサムは「社会の幸福の極大化を見込むには、犯罪者や貧困者層の幸福を底上げすることが肝要である」と考えた結果、この監視装置を思いついた。
このパノプティコン的な監視については、米ドラマの「24」や村上春樹の『1Q84』のほかさまざまなフィクションの中で描かれている。しかし、このようなフィクションの世界を凌駕する世界が現実に現れました。それは中国だ。
中国の監視国家化はディストピア？
昨年末の中国の監視社会化を非難したニューヨーク・タイムズの記事は衝撃的だった。記事で言及されている SenseTime は物体認識、特に「人間」を認識する人工知能ソフトウェアを販売している。Sense TImeのWebsiteによると、人の目視による他人の顔の認識率は97％と言われているが、同社製品の顔認識率は2014年にそれを超える99.15%を記録。顔検出に関しても92.9%と高い検出率を実現し、2016年CVPR（コンピュータビジョンの学会）にて1位を獲得した。
創業4年の会社は画像識別アルゴリズムのちからによってトップの電話メーカー、最大の通信会社や小売会社と契約し、世界で最も価値のあるAIスタートアップ（45億ドル以上）になった。中国の警察はSenseTotemおよびSenseFaceシステムを使用してセキュリティ映像を分析し、事件の被疑者を特定している。政府による直接の支援と市民のプライバシーへの関心の薄さは、中国がこの会社のテクノロジーを利用して14億人の住民を徹底的に監視する社会を作ることを促している。
AI企業が雨後の筍のように成長しているが、彼らの基幹製品はコンピュータビジョンを利用した顔認識のサーベイランスシステムへの応用である。
機械学習スタートアップのYitu Technologies（依図科技）の顔認識システム「Dragonfly Eye（蜻蛉の目）」は18億枚の顔の画像を収録している。最近、あなたが中国を訪れた場合は、そのデータベースのなかにあなたの顔があるはずだ。同社は政府に対し顔認識ナビゲーションソフトウェアと照合アルゴリズム等を提供している。依図科技は犯罪者を検出する顔認識アルゴリズムを採用する中国の都市では、概ね犯罪が減少していると説明している。このシステムが実装されて以来、福建省廈門市の市内バスのスリは30％減少し、2015年6月以降、蘇州ではシステムにより500件の刑事事件が解決された、と主張する。
信用スコアの功罪
中国の最終的な目標は、2020年までに包括的な「社会信用システム」を築くことだ。これは、個人だけでなく政府、法律、そして企業のスコアも統合するという。このシステムは、アリババやテンセントが開発・運用するクレジットスコアを補完することを目的としている。同時に国内で横行する詐欺、汚職、および不正行為に対処することによって「誠意文化」を確立することを目指しているという。
中国国務院が2014年に社会的信用システム構築の概要を示した後、中国の中央銀行はアリババやテンセントなど中国のテック企業8社に社会的信用のパイロットテストを許可した。中国のハイテク大手は、電子商取引やオンライン決済の格付けシステムを開発し、「社会的信用」を構築する上で先陣を切っていたという。
アリババのアント・フィナンシャルが運営する芝麻信用（セサミ・クレジット）は、同社の膨大な消費者情報を基に構築された現在最大のソーシャル・クレジット・パイロットである。このプラットフォームはここ数年で大規模な成長を遂げており、企業だけでなく個人の信用情報も提供している。アリババは、スコアの良いユーザーに航空券やホテルの割引、バイクやレンタカーのデポジット免除、さらにはシンガポールやルクセンブルクなどの国からのビザの早期取得までを提供することで、芝麻信用を推進している。また、中国版Airbnbや出会い系サイト「白河」のユーザーの認証手段としても活用されている。
Mercator Insitute for China Studies (MERICS) が発表した分析によると、中国のソーシャル・クレジット・システムは、IT を活用したビッグデータ対応の市場規制のために、世界的に最も洗練された微調整されたモデルになる可能性を秘めています。
他方で、仮に脆弱性が顕になったときのリスクも大きいでしょう。芝麻信用のスコアを操作して数千ドルを稼いだと主張するハッカーのその後の報道は、データ漏洩への懸念を生んでいる。Caixin（財新）の報告書によると、中国のデータ産業全体が、プライバシーの体系的な侵害を引き起こす方法で個人情報を取引している。
ニューヨーク・タイムズの調査に拠ると、長期的には、共産党政府がDNAサンプルから生成した画像を大量監視システムや顔認識システムに送り込み、反体制派や抗議者、犯罪者を追跡する能力を向上させることで、社会への影響力を強化することが企図されているという。この研究の一部は中国公安部が運営する研究室で行われており、同部と協力してこの技術に取り組んでいる少なくとも2人の中国人科学者は、欧州の著名な研究機関から資金援助を受けている。国際的な科学雑誌は、研究に使用されたDNAの出所を調べたり、新疆ウイグルでのサンプル収集で提起された倫理的な疑問を検証したりすることなく、研究結果を発表している。
このプロセスはDNA表現型解析（フェノタイピング）と呼ばれている。科学者たちは、肌の色、目の色、先祖代々のような形質の遺伝子を分析するためにこれを使用している。一握りの企業や科学者は、犯罪者や被害者を識別するのに十分なほどシャープで正確な顔画像を作成するための科学を完成させようとしている。メリーランド州の警察は2018年、殺人の被害者の身元確認に使用した。2015年にはノースカロライナ州の警察が殺人2件への関与の疑いで男を逮捕した。犯行現場から採取されたDNAによると 犯人の肌は白、目の色は茶色かヘーゼル、黒髪、そばかすの痕跡がほとんどないと推定された。最終的に男は罪を認めている。
マイクロソフトの警鐘
AI技術は使い方を誤ると、恐ろしい監視社会を招く可能性がある。数理モデルが我々の社会に牙を向いたことは、すでに何度もある。社会実装の際には、深い倫理的考慮と、影響の評価が必要になるだろう。
近年米国の警察は数理モデルに基づく犯罪予測ソフトウェアを採用を加速している。そのなかでも最も有名な「プレドポル（PredPol）」では、検挙率が改善した一方で、現実の現象を機械学習モデルが内在する「フィードバックループ」の可能性が、人種的偏見の永続化等を助長する危険性も指摘されている。
現在、米国の一部の州では、アルゴリズムが再犯予測に使用され、裁判を待っている被告人を保釈するには危険すぎるかを決定するようになっている。黒人と白人の間での「差異」がアルゴリズムの公平性をめぐる議論を引き起こしてもいる。
このような環境下の中、「AI倫理」確立の動きが主に欧米で進んでいる。
マイクロソフトのプレジデントBrad Smithは2018年12月に顔認識テクノロジーの潜在的な危険性を指摘し、法制の提案と、自社の行動規範の策定を宣言をした。この興味深い記事では、人種、性別で顔認識の精度が異なるということや、技術の利用者の倫理観に結果が深く依存することに触れられている。Smithは認識提供企業に、透明性と第三者によるテストと比較を要求するべきと主張しました。また、彼は顔認識テクノロジー利用時には、人間による有効なレビューや違法な差別への使用の排除を義務付ける必要性を指摘している。
この主張は、利用者が邪悪ならば、人種、性別のほかさまざまな属性に基づく差別を実行するインフラになりうるということだったり、警察のような暴力装置を独占的に運用する機関が利己的に活用して凶悪な監視社会を築くことだったりという可能性を前提とすると考えられます。そしてMSは自らにも行動規範を設定することで、倫理的逸脱を防ごうとしている。
「新たな法規と規制が必要であることには疑いがない一方で、それにより、テクノロジ企業が果たすべき責任がなくなるわけではありません。7 月に、マイクロソフトは自社内の顔認識テクノロジ開発を評価し、それを統制する新たな行動規範を作成することを発表しました。本日、マイクロソフトの顔認識テクノロジに関する活動に採用する行動規範を公表することで、この発表を実行します。皆様からのフィードバックをお願いすると共に、実行の指針としてく所存です」
このマイクロソフトの主張が示したことは2つある。ひとつは、現代社会が抱える課題は、政府の判断力だけにはとどまらないほど複雑であることだ。もうひとつが、西欧側はAI技術の中国的な活用は、彼らが権威主義体制を打倒し、広義の「民主主義」で社会を再編成したことの背骨を折りかねないことを危惧していることだ。
意外なことに中国もAI倫理に追随している。2019年末、中国の科学者やエンジニアは人工知能の倫理規定を発表した。中国政府は市民を監視する方法としてAIを使用するために広く批判されているが、新たに発表されたガイドラインは、欧米の企業や政府によって敷かれた倫理的な枠組みに著しく類似しているように見える。
「北京AI原則」（Beijing AI Principles）は中国科学技術省と北京市政府の支援を受けた組織である北京人工知能学院（BAAI）によって発表された。彼らは、人間のプライバシー、尊厳、自由、自律性、権利は十分に尊重されるべきであるということを含む、AIの研究開発のための指導原則を綴っている。
監視資本主義
今日、私たちは刑務所の塔の中よりも、新しいテクノロジーの中にパノプティシズムを見出す可能性が高くなっている。哲学者で心理学者のショシャナ・ズボフ（Shoshanna Zuboff）は、それを「監視資本主義（Surveillance Capitalism）」と強調している。フーコーは、監視という「創意工夫された」パノプティズム的な方法が規律法にも使えると主張し、ズボフはそれがマーケティングにも使えることを示唆している。
この種の監視に対する懸念は、80年代後半のパーソナルコンピュータの台頭の始まりにまで遡ります。ズボフは、個人が完了している仕事の量を監視できる「情報のパノプティコン」としてのPCの役割を概説した。
今日では、これがより広範な範囲に適用可能になっているようだ。雇用主は、在宅勤務のスタッフを密かに追跡するプログラムを入手して、彼らが本当に自分の時間を費やしているかどうかを確認することができる。親は、子供の携帯電話の使用状況を監視するためのソフトウェアを入手することができる。世界中の政府は、テロ攻撃を計画していると疑われる人々のインターネットデータを収集できるように、法律を可決している。公共交通機関のカードでさえ、市民の身体的な動きを監視するために使用することができる。
この種の監視とデータ収集は、一方通行の情報経路であるため、パノプティコンと特に類似している。パソコンの前に座ってウェブを閲覧したり、ニュースフィードをスクロールして動画を見たりしていると、情報がまとめられてISPに送られてくる。
このシナリオでは、コンピュータはベンサムのパノプティコンタワーだ。あなたは情報が抽出される主体であり、反対側では、何も伝達されず、情報が漏れることもない。あなたのオンライン上での行動や行動はいつでも見ることができるが、観察者は決して見ることができない。
幸福 vs 自由
このような監視資本主義の中で、「自由と幸福のトレードオフ」がある。自由を失う代わりに最大限の幸福を楽しむか、それとも、幸福に上限を設ける代わりに自由を最大化するか。
中国の高度監視社会は、欧米の政治思想のフレームでは功利主義的と捉えることができる。人々の自由を減じる代わりに安全や利便性という幸福の要素をもたらしているからだ。
しかしそもそも「幸福」とは何か、という問いには決定的な答えが存在しない。ヒトはそれぞれあまりにも複雑で異なるシステムを内在している。そのシステムたちが幸福という抽象的な概念に対して一致したことも一貫していたこともない。
功利主義的な監視社会を作ったときにそれを正当化する幸福をどう定義するか、という部分に設計思想の特徴が現れる。これまでの人文・社会の学問がうまく答えを出せていない分野かもしれない。
金さえあれば幸せになるというのは資本家が信じる妄想に過ぎない。ダニエル・カーネマンとアンガス・ディートンの研究である一定の年収水準を超えると、年収と感情的幸福感は関連しなくなると主張した。彼らは収入や生活の満足感、感情やストレスなど、「ギャラップ・ヘルスウェイズ幸福指数」を基にし電話調査の回答を分析した結果、低所得は離婚などの不幸に伴う感情的な痛みを悪化させ、体調不良、孤立などをもららしうるため、低い生活評価と低い感情的幸福感は関連付けられるという。
年収7万5000ドルまでは年収が増加すると感情的幸福が増加するという関係だったが、7万5000ドル以降の年収の増加に対して感情的幸福は増加しなかったと論文は説明している。高所得者は「人生の満足度を買うことはできるが感情的幸福を買うことはできない」という。高所得者は教育や余暇等のさまざまな投資により人生の自己評価は高くなるが、感情的幸福は頭打ちになる。
だが、そもそも我々が信じる幸福とは何だろうか。自由とはなんだろうかヒトが技術で生み出すあたらしい世界を説明する思想が必要になっているのは間違いがない。
※より深堀りした記事はこちらから
Become a Patron!参照文献
- Inside China’s Dystopian Dreams: A.I., Shame and Lots of Cameras
- 顔認識テクノロジに関する当社の見解について：今が行動の時
- Michel Foucault. “Panopticism” from Discipline & Punish: The Birth of the Prison. Multidisciplinary Global Contexts, Volume 2, Number 1, Autumn 2008, pp. 1-12 (Article).
- Sui-Lee Wee and Paul Mozur. "China Uses DNA to Map Faces, With Help From the West". Dec. 3, 2019.
- AI Now 2019 Report. December 2019.
Image is courtesy of THX 1138
Special thanks to supporters !
Shogo Otani, 林祐輔, 鈴木卓也, Mayumi Nakamura, Kinoco, Masatoshi Yokota, Yohei Onishi, Tomochika Hara, 秋元 善次, Satoshi Takeda, Ken Manabe, Yasuhiro Hatabe, 4383, lostworld, ogawaa1218, txpyr12, shimon8470, tokyo_h, kkawakami, nakamatchy, wslash, TS, ikebukurou 太郎.
月額制サポーター
Axionは吉田が2年無給で、1年が高校生アルバイトの賃金で進めている「慈善活動」です。有料購読型アプリへと成長するプランがあります。コーヒー代のご支援をお願いします。個人で投資を検討の方はTwitter（@taxiyoshida）までご連絡ください。
投げ銭
投げ銭はこちらから。金額を入力してお好きな額をサポートしてください。
