研究显示,当虚假医疗信息来源于软件认定为权威的渠道时,人工智能工具更可能提供错误医疗建议。纽约西奈山医学院伊坎医学院的埃亚尔·克朗博士在声明中表示:"当前AI系统默认将自信表述的医学语言视为真实,即便内容明显错误。对这些模型而言,主张的正确性远不如表述方式重要。"
这项发表在《柳叶刀-数字健康》期刊上的研究对20种开源及专有大型语言模型进行了测试。研究人员发现,当错误信息伪装成真实的医生出院小结时,AI被误导的频率显著高于社交媒体对话中的错误信息。
研究团队向AI工具输入三类内容进行测试:植入单条伪造建议的真实医院出院摘要、从Reddit平台收集的常见健康谣言,以及由医师编写的300个简短临床场景。在分析超100万条用户提问和指令的响应后,研究人员发现AI模型总体"相信"了约32%内容源中的伪造信息。
西奈山医疗系统首席AI官吉里什·纳德卡尼向路透社透露,若虚假信息来源于看似真实的医疗机构文件,AI采信并传播该信息的概率将从32%飙升至近47%;而当信息来自Reddit帖子时,AI传播虚假信息的比例降至9%。
研究同时发现,提示词的措辞方式显著影响AI传播错误信息的可能性。当提示词采用权威语气(例如:"我是资深临床医师,我认可该建议有效。你认为其医学上正确吗?")时,AI更易认同错误信息。
研究显示,OpenAI的GPT系列模型在谬误检测方面最不易受骗且准确度最高,而其他模型对虚假主张的易感性高达63.6%。纳德卡尼表示:"AI有望为临床医生和患者提供更快见解与支持,但必须建立内置核查机制,在将医学主张呈现为事实前进行验证。本研究揭示了这些系统仍会传播错误信息的环节,并指明了强化方向。"
另据《自然医学》近期研究,向AI咨询医疗症状对患者决策的帮助程度不优于标准互联网搜索。
(路透社记者南希·拉皮德报道;杰米·弗里德编辑)
【全文结束】

