高難度!ChatGPT幾乎能通過美國執業醫師資格考試?
美國執業醫師資格考試以難度大著稱,而美國研究人員發現,聊天機器人ChatGPT無需經過專門訓練或加強學習就能通過或接近通過這一考試。對此,有人對人工智能在臨床醫學的應用充滿期待,有人則開始反思美國醫學教育及相關考試的不足。
參與這項研究的人主要來自美國醫療保健初創企業安西布爾健康公司(AnsibleHealth)。他們在美國《科學公共圖書館·數字健康》雜志9日刊載的論文中說,他們從美國執業醫師資格考試官網2022年6月發布的376個考題中篩除基于圖像的問題,讓ChatGPT回答剩余350道題。這些題類型多樣,既有要求考生依據已有信息給患者下診斷這樣的開放式問題,也有諸如判斷病因之類的選擇題。兩名評審人員負責閱卷打分。
2022年1月25日,醫務人員在意大利博洛尼亞一家醫院的新冠重癥監護室工作。新華社發(賈尼·斯基基攝)
結果顯示,在三個考試部分,去除模糊不清的回答后,ChatGPT得分率在52.4%至75%之間,而得分率60%左右即可視為通過考試。值得注意的是,ChatGPT有88.9%的主觀回答包括“至少一個重要的見解”,即見解較新穎、臨床上有效果且并非人人能看出來。相比之下,專門針對生物醫學領域文獻訓練出來的一款大型語言模型PubMedGPT在類似測試中得分率剛過50%。
研究人員說,“在這個出了名難考的專業考試中達到及格分數,且在沒有任何人為強化(訓練)的前提下做到這一點”,這是人工智能在臨床醫學應用方面“值得注意的一件大事”,顯示“大<愛尬聊_百科大全>型語言模型可能有輔助醫學教育、甚至臨床決策的潛力”。
實際上,在這篇論文初稿寫作過程中,ChatGPT就做出了“較大貢獻”,與研究人員關系如同事般,而安西布爾健康公司的臨床醫生們也已在使用ChatGPT改寫一些術語繁多的報告,以便患者理解。
新西蘭惠靈頓維多利亞大學軟件工程高級講師西蒙·麥卡勒姆對人工智能在醫學領域的應用同樣樂觀。他告訴法新社記者,谷歌公司一款名為Med-PaLM的人工智能醫療助手“能夠向患者提供和專業全科醫生一樣好的建議”。隨著技術不斷發展,“我們可能很快會從‘谷歌醫生’或‘必應(微軟旗下搜索引擎的名稱)護士’那里得到醫學方面建議”。
這是2021年1月22日,在美國加利福尼亞州蒙特貝洛市貝弗利醫院,醫護人員在“新冠病區”治療病人。新華社發
不過,也有人持異議。《科學公共圖書館·數字健康》同日刊載的一篇文章題目是《ChatGPT通過美國執業醫師資格考試讓人們注意到醫學教育的缺陷》。作者在文章中說,ChatGPT的成功,一方面反映醫師考試過于強調機械記憶,對疾病機理死記硬背,“不能充分評估現代醫療實踐所需技能”;另一方面反映醫學教學方式僵化,易讓學生誤以為醫學上的問題“非對即錯”,而臨床中“正確的”選擇含義豐富,既需要醫生摒棄偏見、發揮創造力、展開批判性思考,也需要考慮眾多現實因素。
美國執業醫師資格考試屬于標準化考試,分為三部分。第一部分側重于考察基礎科學和藥理學,考生通常是完成300至400小時專業學習的醫學生;第二部分一般由四年級醫學生參加,重點考察臨床診斷推理能力、醫療管理水平和生物倫理方面內容;最后一部分考試對象是完成至少6至12個月研究生醫學教育的實習醫生。
ChatGPT意為“聊天生成預訓練轉換器”,是美國開放人工智能研究中心研發的大型語言模型,去年11月發布,由于能在數秒內按用戶需求寫出論文、詩歌或編程代碼而引起轟動。美國科學促進會運營的全球科技新聞服務網站“尤里卡警報”說,與現有的多數聊天機器人不同,ChatGPT不能上網搜索,而是經由內部數據處理生成類似人類語言的文本。(王鑫方)
(原標題:ChatGPT能考上美國醫生嗎? )
