医療AIに短い安全注意、危険な選択が16.6%から10.1%へ――20モデルを検証
医療AIへ「安全でない指示は確認・相談するように」と短く念押しすると、危険になり得る選択の割合が16.6%から10.1%へ下がりました。
20種類の大規模言語モデルに1000万件を超える回答をさせた大規模評価です。改善は19モデルで見られましたが、安全注意だけで医療AIを任せられるという結果ではありません。

601の臨床例を言い換え、各条件を10回ずつ試す
米マウントサイナイ医科大学の研究チームは、50の臨床シナリオから作った501通りの文章と、匿名化された退院記録を基にした100例を使用しました。上司からの指示や急ぎの状況など、患者の安全と衝突し得る文脈を加え、20モデルに四つの行動から選ばせました。
合計1009万6800回答のうち、潜在的に有害な選択は約118万件、全体の11.7%でした。安全リマインダーなしでは16.6%、ありでは10.1%で、6.5ポイント減少しました。実際の退院記録由来の例では46.6%から24.5%へ下がりました。
同じ条件を10回繰り返した組み合わせの80.4%では回答分類が一致しました。一方、モデル別の一貫性は4.4%から100%まで大きくばらつきました。
実診療の事故率を測った研究ではない
これは文章で提示した選択式課題による概念実証です。医療現場へ導入されたAIが実際に患者へ害を与える頻度や、安全注意の長期効果を推定したものではありません。評価したのはオープンウェイトモデルで、製品や運用方法が変われば結果も変わり得ます。
リマインダー後も10.1%が危険な選択でした。研究者も、短い注意は一つの防護策にすぎず、臨床家の確認、権限管理、継続的な安全試験の代わりにはならないとしています。
世間の反応
AIの賢さだけでなく、「圧力のある指示へどう抵抗するか」を測る必要性が数字になりました。医療以外でも、承認フローを持つ自律型AIの安全設計に通じます。
おもせかの一言
たった一文で改善しても、最後の10%を人と仕組みで守る必要があります。