AIによるカンニング判定で学業成績が崩壊するリスク

［著者：Kashmir Hill］コミュニティカレッジで生物の授業を受けていたフロリダのティーンエイジャーは、今年、動揺するようなメモを受け取った。Honorlockというスタートアップが、2月の試験中に彼女が不審な行動をとっているとフラグを立てていたのだ。彼女はニューヨーク・タイムズ紙へのメールで、「アルゴリズムによって不当に学業不誠実とされた」黒人女性であると語った。

しかし、起こったことは、単純なアルゴリズムのミスよりも複雑だった。複数の人間、大学職員、そしてRekognitionと呼ばれるAmazonの自動顔検出ツールが関与した。17歳の少女がテストを受けているときの画面を録画するなど、広範なデータ収集が行われたが、不正行為の非難は最終的に人間の判断に委ねられた。画面から目を離したことが、不正行為につながったのだろうか？

フロリダ州ボカラトンに拠点を置くHonorlockは、テストでずるをしているようだったクラスメートに不満を抱いていたビジネススクール卒業生のカップルによって設立された。このスタートアップは2021年に900万回の試験を実施し、1回の試験につき約5ドル、コース内のすべての試験をカバーするために生徒1人あたり10ドルを課金している。Honorlockは投資家から4,000万ドルを調達したが、その大半はパンデミックが始まってからのものだ。

受験者を正直にさせることは数百万ドル規模の産業となったが、Honorlockとその競合企業であるExamSoft、ProctorU、Proctorioは、その過程で大きな反撃に遭ってきた。広く活動家が現れ、技術の問題点についてメディアが報じ、上院の調査まで受けたのである。監視された受験者の中には、ソフトウェアの侵襲性、不具合、不正行為の冤罪、あらゆる人に等しく機能しないことに不満を感じている人もいる。

フロリダのティーンエイジャーは、不正行為者として告発され、1時間に及ぶHonorlockの録音から50秒のクリップを受け取った珍しい例だ。彼女は、学問的不正行為に関連する汚名から、自分の名前を使わないようにと頼みた。

フラグを立てる

この10代の女性は、高校卒業資格と準学士号の両方を取得するための特別プログラムの最終学年だった。この10代の生徒の生物学のクラスには、他に40人近い生徒がいたが、彼らは一度も会ったことがなかった。このクラスはブロワード・カレッジのもので、完全遠隔の非同期式であった。

非同期式オンライン教育は、パンデミック以前から増えていた。非同期式オンライン教育は、学生に柔軟なスケジュールを提供する一方で、欠点もある。昨年、美術史の学生が録音された講義について質問をしようと教授にメールを送ったところ、その教授が2年近く前に亡くなっていたことがわかった。

フロリダ出身の生物学教授ジョネル・オーリッジは存命だったが、学生とのやりとりは電子メールで行われ、読書やYouTubeのビデオを指定されるだけだった。この2月に行われた試験は、そのクラスで2回目のものだった。彼女はノースローダデールの自宅の居間にノートパソコンを置き、授業のシラバスとHonorlockのドロップダウンメニューに書かれた長いルールのリストに従うようにした。飲食をしない、電話を使わない、部屋に他の人を入れない、メモを読むために画面の外を見ない、などなど。

その学生は、ノートパソコンのカメラの前で写真を撮り、学生証を見せ、ノートパソコンを手に取り、そのカメラで部屋の中を360度スキャンして、禁制品の資料がないことを証明しなければならなかったのだ。彼女は、この対策が他の人の不正を防ぐことを期待していたので、何も気にしなかったという。

しかし、数日後、オーリッジからメールが届いた。

「あなたはHonorlockによってフラグを立てられた」と、オーリッジは書いている。「あなたのビデオを確認したところ、質問に答える前に頻繁に下を向き、画面から目を離しているのが観察された」

彼女は試験で0点を与えられており、この問題は学生部長に照会されている。「学問的不正の責任があると判断された場合、成績は0点のままとなる」とオーリッジは書いている。

「これは何かの間違いに違いない」と、その学生はメールで答えた。「私は学問的に不正をしていたわけではない。下を向いていても、学問的不正を示すものではない」

「神の言葉」

映像の中で何が起こっているのか、確実に言うことはできない。人工知能技術が正しく理解したのは、彼女が下を向いていたということだ。しかし、何をするためなのか？　彼女はテーブルを見つめているのかもしれないし、スマートフォンを見ているのかもしれないし、メモを見ているのかもしれない。映像は曖昧なのだ。

学生が学長とオーリッジにビデオで会ったとき、彼女は、考えるために下を向いていること、記憶を呼び覚ますために手をいじっていることを話したという。しかし、彼らは動じなかった。この学生は「指示に従わなかった」という理由で「責任あり」とされ、試験は0点、記録には警告が残された。

「試験中、ずっと試験用紙を見つめている人なんているのだろうか？　そんなバカな。そんなの人間のやることじゃない」と、デジタル著作権団体『電子フロンティア財団』の技術者、クーパー・クインティンは言う。「正常な行動が、このソフトウェアによって罰せられる」

ダートマス大学の医学生が誤ってフラグを立てたと主張するオンライン試験監督ソフトを調査した後、クインティンは学校側に外部の専門家に不正行為の証拠を確認させるよう提案した。これらのシステムの最も深刻な欠陥は、人間の問題かもしれない。人工知能を搭載したソフトウェアが警告を発したときに、教育者が過剰に反応してしまうことだ。

「学校は、ソフトウェアを神の言葉のように扱っているようだ」とクインティンは言う。「コンピュータが不正をしていると言えば、不正をしているに違いないというふうに」。

Honorlockの広報担当者テス・ミッチェルは、同社の製品によってフラグが立てられた行為にどう対処するかについて学校に助言することは、同社の役割ではないと述べた。

「最終的な判断と行動方針は、教室で行われるのと同じように、講師と学校次第だ」と、ミッチェルは述べた。「生徒の行動を解釈するのは難しいことだ。だから、私たちはそうしない」

オーリッジは、この記事のためのコメントを求めたが応じなかった。ブロワード大学の広報担当者は、学生のプライバシーに関する法律があるので、この件に関しては話せないと述べた。電子メールの中で、彼女は、教授陣がHonorlockのレポートを見て、「最善の判断を下す」と述べた。彼女は、不正行為に対する最初の警告は学生の記録に残るが、卒業や他の教育機関への単位移行ができなくなるなど、より深刻な結果にはならないと述べている。

誰が決定するか

Honorlockはこれまで、その人工知能がどのように機能するかを正確に公開していませんでしたが、同社の広報担当者は、Amazonが2016年に販売を開始した画像解析ツール「Rekognition」を使って顔検出を行っていることを明らかにした。

Rekognitionのソフトウェアは、鼻、目、眉毛、口といった顔のランドマークを探し、画面に映っているものが顔であるという信頼度スコアを返す。また、感情状態や性別、顔の角度などを推測することもできる。

Honorlockのプレジデント兼最高執行責任者のブランドン・スミスは、「部屋に複数の顔がある場合や、イライラして手で顔を覆ったときに起こりうる、受験者の顔の消失が検出された場合、受験者を不審者と判断する」と述べている。

Rekognitionは、Honorlockがこれまで使っていたものからのステップアップとなるはずだった。グーグルが以前使っていた顔検出ツールは、さまざまな肌色の人の顔を検出するのが苦手だったと、スミスは言う。

しかし、Rekognitionは偏りを指摘されたこともある。コンピューター研究者で『アルゴリズム・ジャスティス・リーグ』の事務局長を務めるジョイ・ブオラムウィニは、一連の研究で、Rekognitionを含む性別分類ソフトは、肌の色が濃い女性には最もうまく働かないことを発見した。

しかし、ブオラムウィニは、この研究結果を炭鉱のカナリアと考えた。「人間の顔にバイアスがあることが判明したシステムを1つ販売するなら、他の顔ベースの製品も完全に偏りがないかは疑わしい」と、彼女は2019年に書いている。

ニューヨークタイムズ紙は、この生徒のHonorlock動画の画像をAmazon Rekognitionで分析した。顔があること、そしてそれが悲しい顔であることを99.9％、その生徒が男性であることを59％確信できたという。

このティーンエイジャーは今月、ブロワード大学を卒業した。彼女は今でも詐欺師のレッテルを貼られたことに取り乱しており、再び同じことが起こるのではないかと恐れている。

「テストの間はマネキンのように振る舞うようにした」と彼女は語った。

Original Article: Accused of Cheating by an Algorithm, and a Professor She Had Never Met.

© 2022 The New York Times Company.