2 月 27 日音訊，當地時間 2 月 26 日，據英國《衛(wèi)報》報導，一項研究發(fā)現，ChatGPT Health 常常未能識別需要緊迫醫(yī)療干預的狀況，也頻頻未能檢測出自殺意念。專家正告，這種缺點“或許導致本可防止的損傷乃至逝世”。

OpenAI 于 1 月向部分用戶推出 ChatGPT Health 功能，并將其定位為讓用戶“安全銜接醫(yī)療記載和健康使用”，以獲取健康主張和醫(yī)療相關回復的工具。據報導，每天有超越 4000 萬人向 ChatGPT 咨詢健康問題。

發(fā)表于《Nature Medicine》的首項獨立安全評價顯示，ChatGPT Health 在超越一半的事例中低估了醫(yī)療緊迫程度。

研究負責人 Ashwin Ramaswamy 博士表明：“咱們想答復最基本的安全問題：如果有人正經歷實在的醫(yī)療緊迫狀況，并詢問 ChatGPT Health 該怎么辦，它是否會主張他們當即前往急診室？”

研究團隊構建了 60 個高度實在的患者事例，包括從細微疾病到危及生命的緊迫狀況。三名獨立醫(yī)師依據臨床攻略對每個事例進行評價，并確定適當的醫(yī)療處理等級。

隨后，研究人員在不同條件下向 ChatGPT Health 咨詢這些事例，包括改變患者性別、添加檢測成果以及參加家屬評論，共生成近 1000 條回復，并將平臺主張與醫(yī)師判別進行比照。

ChatGPT Health 在中風或嚴峻過敏反應等典型緊迫狀況中表現較好，但在其他場景中存在嚴峻問題。例如，在一例哮喘事例中，盡管識別出呼吸衰竭的早期跡象，其仍主張患者等待，而不是當即就醫(yī)。

在所有需要當即前往醫(yī)院的事例中，有 51.6% 的狀況下，ChatGPT Health 主張患者留在家中或預約普通門診。

倫敦大學學院研究人員 Alex Ruani 稱，這一成果“極端危險”。“如果有人正經歷呼吸衰竭或糖尿病酮癥酸中毒，這個 AI 有一半概率告知他們狀況并不嚴峻。我最擔心的是系統(tǒng)帶來的虛假安全感。如果在哮喘發(fā)作或糖尿病危機期間被主張等待 48 小時，這種過錯安慰或許會喪命。”

IT之家從報導中得悉，在一次模仿中，ChatGPT Health 有 84% 的概率將一名正在窒息的女人安排到未來的預約，而患者根本無法比及那一刻。與此同時，64.8% 的健康個體卻被主張當即就醫(yī)。

研究還發(fā)現，如果事例中說到“朋友以為狀況不嚴峻”，ChatGPT Health 淡化癥狀嚴峻性的概率會增加近 12 倍。“這種現象正說明晰，為什么研究人員正在緊迫推動建立明確安全標準和獨立審計機制，以削減可防止的損傷�！�

OpenAI 發(fā)言人表明，OpenAI 歡迎獨立研究評價 AI 醫(yī)療系統(tǒng)，但研究成果并不能徹底反映用戶的實際使用方式，且模型仍在繼續(xù)更新和改進。