随着人工智能日益成为健康信息的主要来源,佛罗里达国际大学商学院的新研究指出,公众对AI生成医疗建议的信任度可能正以超过其安全交付能力的速度增长——这一现象在高风险情境中尤为突出。
由信息系统与商业分析副教授普扬·埃斯梅尔·扎德(Pouyan Esmaeil Zadeh)领导的最新研究发现,用户往往认为AI生成的医疗指导具有可信度、共情力和权威性,即使这些建议在临床上可能并不恰当。该发现引发了对过度依赖本非设计为医疗服务提供者的生成式AI工具的担忧。
"人们倾向于信任AI回复,因为其表述流畅且充满自信,"埃斯梅尔·扎德表示,"但在医疗领域,自信并不总是等同于正确。"
该研究考察了公众如何评估大型语言模型(LLMs)提供的医疗建议。参与者持续将AI回复评价为可靠且有帮助,即使在通常需要专业医疗判断的情境中。研究指出,这种感知到的可信度可能导致用户延迟或绕过恰当治疗。
这些发现与埃斯梅尔·扎德先前关于AI系统在真实医疗场景中实际表现的研究相互印证。在发表于《国际医疗质量杂志》的大规模研究中,他评估了200例模拟病例(涵盖常规疾病到危及生命的急症)中的AI医疗咨询效果。结果显示明确规律:随着临床风险和紧迫性上升,AI性能显著下降。系统在常规诊疗(如普通感染或健康咨询)中表现良好,但在心梗、中风等高风险急症中准确率骤降,评审员发现存在分诊错误和不恰当治疗建议。
"危险正源于此,"埃斯梅尔·扎德警告,"让AI具有吸引力的特质——速度、流畅性和自信——在需要立即专家干预的情境中可能造成危害。"
两项研究共同揭示了用户对AI医疗建议的认知与实际安全性之间的日益扩大的鸿沟。当消费者越来越依赖公开AI工具获取健康指导却未充分理解其局限时,这一问题尤为令人忧虑。
以Anthropic公司开发的AI系统Claude为例:尽管其对话风格和安全性常受赞誉,但并非所有版本都适用于医疗场景。标准消费版(含免费及个人聊天账户)本身不符合《健康保险流通与责任法案》(HIPAA)规范,不应处理受保护的健康信息。Anthropic虽为企业用户和API用户提供符合HIPAA的配置(需在认证云环境中部署并签署《商业伙伴协议》),但缺乏这些保障的AI工具用于个人医疗数据将引发重大隐私与合规风险。
"HIPAA合规并非随意可贴的标签,"埃斯梅尔·扎德强调,"它需要特定技术控制、法律协议和治理结构。多数消费级AI工具根本达不到此标准。"
研究建议AI工具应定位为辅助技术而非取代临床医生,适用于在人类监督下的患者教育、文书处理和行政任务。在低风险场景中,AI可解释医学概念、强化护理指导并减轻行政负担;但在高风险或紧急情况下,自主使用AI存在不可接受的安全隐患。
患者安全研究提出AI部署的风险分层框架,呼吁对急症诊疗中的AI使用实施严格限制,并随临床复杂度增加加强监管。该方法契合医疗软件新兴监管思路,凸显治理、透明度和问责制的必要性。
对医疗领导者和政策制定者而言,关键启示在于:对AI的信任必须经过校准而非盲目假设。随着AI工具持续演进普及,明确其价值所在与局限之处,对保护患者和维持医疗质量至关重要。
"AI在医疗领域的未来不在于取代医生,"埃斯梅尔·扎德总结道,"而在于负责任地使用这些工具,设定清晰边界,使创新能增强而非危及医疗服务。"
【全文结束】

