Googleの医療用言語AIは臨床医をしのぎ、病院での試験運用段階に達した

Googleの医療用言語AIが目を見張る進歩を見せ、病院で試験運用されている。徹底的な評価が必要という懸念の声もある中、生成AIが医療現場に足跡をつけた。

GoogleのAI研究者らは12日、科学誌Natureに医療向け大規模言語モデル（LLM）の成果に関する論文を出版した。研究によると、LLM「Med-PaLM」の回答は科学的なコンセンサスに92.6％合致していると評価され、モデルの回答のわずか5.8％が有害な結果を引き起こす可能性があり、臨床医が達成した6.5％を上回った。

この研究では、研究者がベンチマークを専門医、研究者、消費者のクエリにまたがる6つの既存の医療質問応答データセットと、オンラインで検索された新しい医療質問のデータセットであるHealthSearchQAを組み合わせたベンチマークであるMultiMedQAを提案している。

初代のMed-PaLMは、MultiMedQAの構成要素であるMedQA（米国医師免許試験形式の問題集）データセットにおいて、67.2%のスコアをマークしていた。米国医師免許試験（USMLE）形式の問題において「合格」した最初のモデルであるが、臨床医とはパフォーマンス差があった。「人間による評価では、自由形式の質問に対する長文の解答を含むAIの出力が安全であり、この安全性が重要な領域における人間の価値観や期待に沿ったものであることを確認するために、さらなる作業が必要であることが明らかになった」という。

これは、2世代目でかなり改善した。Googleが5月に発表した未査読論文 （未査読での発表ではこちらが最新）には、Nature論文で試されたモデルの次世代に当たるMed-PaLM 2は、「 MultiMedQAで性能を評価され、MedQAで最高86.5%のスコアを記録し、Med-PaLMを19%以上改善し、新たな最先端を打ち立てた」と、共著者らは書いている。また、インドのAIIMSとNEETの医学試験問題からなるMedMCQA（MultiMedQAに含まれる）において、合格点に達した最初のAIシステムであり、72.3％のスコアを記録した。

Googleが自ら作ったベンチマークで性能を評価していることを懸念する見方がある。AI Now Instituteのマネージング・ディレクターであるサラ・ウェストは、ブルームバーグに対し、Natureに掲載されることである程度の学術的な精査が行われることは認めるものの、Googleが設定したベンチマークではAIシステムが現実の医療現場で使用できると判断するには不十分だと主張した。彼女は、このようなシステムを商業的に展開する前に、より包括的な評価の必要性を強調し、個々の病院や臨床現場で可能なカスタマイズを考慮すべきだと述べている。

しかし、このモデルはすでに、4月からミネソタ州ロチェスター市に本部を置く総合病院の研究病院などで、医療に関連する質問に応答し、試験運用されている、とウォール・ストリート・ジャーナル（WSJ）は報じた。Googleは、顧客がGoogleからアクセスできない暗号化された設定でデータを管理し、そのデータを取得しないことを保証している。

AIアルゴリズムはすでに病院で、患者の心電図から心臓病を予測するなどの専門的な作業に使われている。生成AIのツールは、医学的な質問に対して権威的に聞こえる回答を生成するために使用される可能性があり、医師が推奨しない方法で患者に影響を与える可能性があるため、新たなリスクが存在する。

参考文献

1. Singhal, K., Azizi, S., Tu, T. et al. Large language models encode clinical knowledge. Nature (2023). https://doi.org/10.1038/s41586-023-06291-2
2. Singhal, K. et al. Towards Expert-Level Medical Question Answering with Large Language Models. arXiv:2305.09617 cs.CL https://doi.org/10.48550/arXiv.2305.09617