医生使用的AI写作助手编造诊断结果——却仍在投入使用KI-Schreibassistent beim Arzt erfindet Befunde – und ist trotzdem im Einsatz

环球医讯 / AI与医疗健康来源:www.msn.com加拿大 - 德语2026-09-09 22:24:59 - 阅读时长7分钟 - 3125字
加拿大安大略省审计报告揭露,AI语音转录系统在医生诊室中系统性编造药物、遗漏关键健康问题,但评估采购时准确性仅占4%权重,而本地办事处占30%。尽管存在严重缺陷,约5000名医生仍在继续使用类似系统。德国也正引入同类技术,但缺乏独立测试和强制审核机制,引发对患者安全和医疗质量的担忧。
AI写作助手医疗记录诊断错误健康风险患者安全幻觉药物错误心理健康AI医疗
医生使用的AI写作助手编造诊断结果——却仍在投入使用

在安大略省,AI写作助手记录了错误的药物并编造了诊断结果。在德国,此类系统也正在进入诊所。

您的医生可能正在您的病历中写下一些您从未说过的话。不是出于疏忽,也不是因为时间压力——而是因为人工智能编造了它。

这听起来可能有点离谱——但并非如此:人工智能在德国医疗保健领域也扮演着越来越重要的角色,而来自加拿大,确切地说,来自加拿大安大略省的经验值并不令人放心。

在那里,能够记录医患对话并自动为病历创建笔记的AI系统,系统性地编造了内容,输入了错误的药物,并直接忽略掉了核心健康问题。尽管如此,这些系统仍在投入使用——约5000名医生在使用。类似的技术也即将在德国诊所取得突破。

这一结论来自安大略省审计长2026年5月的一份特别报告,该报告调查了该省公共部门的AI使用情况。其中整整一章专门介绍了卫生部的所谓AI-Scribe项目,加拿大广播公司也对此进行了报道。

在采购过程中,有20个基于AI的转录系统接受了测试。评估人员输入了虚构医生与患者之间的模拟对话,并让医疗专业人员将原始录音与AI生成的笔记进行比较。结果是一份令人震惊的失败清单,不仅对加拿大提出了疑问。

20个系统中有9个产生了幻觉:它们编造了信息,或提出了对话中从未提及的治疗方案建议。在某些情况下,AI记录为“未发现肿瘤”——尽管根本没有讨论过肿瘤话题。

其他系统则自行安排血液检查,或将患者转诊接受治疗,而医生从未暗示过这一点。20个系统中有12个记录了错误的药物——例如记录了一种与实际处方不同的药物。而20个测试解决方案中有17个遗漏了患者心理健康问题的重要细节,如The Register报道。有6个系统完全或部分忽略了心理健康问题。

准确性在采购中几乎不被重视

使情况更糟的是:这些错误并非排除标准。根据审计长谢莉·斯彭斯的报告,采购过程中的优先级权重极其失衡。例如,供应商是否在安大略省设有本地办事处,占总评分的30%。而医疗笔记的准确性仅占4%。

偏见检查——即检查系统是否系统性歧视某些患者群体——占2%。威胁、风险和隐私评估另外占2%。SOC-2 Type 2合规性(数据安全标准)也仅占4个百分点。

因此,准确性、偏见控制和安全措施加起来只占总评分的很小一部分。“不适当的权重标准可能导致选择那些AI工具生成不准确或扭曲的医疗记录,或未能对敏感个人健康数据提供充分保护的供应商”,报告中写道。

有些供应商甚至没有提交第三方审查报告、认证或威胁风险评估——其中有四个系统仍然获得了批准。

政治反应遵循了通常的模式:采购部长斯蒂芬·克劳福德对加拿大广播公司表示,这些错误“发生在测试阶段”,医生“监督着AI使用的每一个方面”。

卫生部长的发言人强调,“没有已知的患者伤害报告”。这些系统是自愿的,并且需要患者同意。而安大略省绿党领袖迈克·施赖纳则称这些结果“令人深感不安”。

问题是结构性的,而非区域性的

将安大略省的事件视为加拿大特有的现象会很方便。然而,这些发现与国际研究结果一致。发表在专业期刊《JMIR Medical Informatics》上的一项由加州大学戴维斯分校进行的试点研究,在真实临床条件下测试了一个单一的环境AI-Scribe系统。

在两个月内,31名医生使用该技术生成了7545份临床笔记。在详细评估的356份笔记中,18%含有无意遗漏,11.5%含有幻觉,9.3%含有错误添加的信息。尽管作者认为94.7%的笔记没有显著错误,但5.3%的笔记含有可能造成严重或直接伤害风险的错误。

尤其令人震惊的是:近15%的AI生成笔记,医生根本没有编辑,直接原封不动地录入病历。编辑比例在不同医生之间差异巨大——从1.9%到69.3%的AI生成词汇被编辑。这意味着:有些医生仔细检查,而另一些则显然直接放行。

根据审计报告,在安大略省,没有一个获批系统设有强制性确认机制,要求医生在笔记录入病历前必须进行审核。

根据加拿大医疗法,法律责任仍由主治医生承担。如果医生未审核虚构的AI笔记并因此导致治疗错误,他们可能因违反注意义务而承担责任。

此外,如果存在可证明的产品缺陷,也可以向软件供应商提出索赔。这在实践中是否可行,则是另一回事。

发表在《JMIR Medical Informatics》上的一篇伦理分析指出,AI写作助手不仅仅是被动的转录工具,而是作为“认知代理”在运作:它们主动选择、加权和排列信息。

该论文警告了“认知退化”——即因过度信任机器而导致临床判断力逐渐丧失——以及医患关系被掏空的风险,因为对话中的叙事细微差别会被系统性过滤掉。

德国诊所面临同样的问题

在安大略省吸取教训的同时,类似的技术正在进入德国市场。

诊所软件供应商medatixx与丹麦公司Corti合作开发了x.scribe产品,这是一款AI写作助手,能够实时转录医患对话并生成结构化的文档建议。自2026年2月起,x.scribe已可用于诊所软件x.isynet和x.vianova;其他程序将陆续推出。该系统在4月份的DMEA健康博览会上进行了演示。

Medatixx强调,医生可以在将文档建议录入病历前进行调整和补充。Corti开发的语言模型专门针对医疗内容进行了训练,并满足所有数据保护要求。

这些目前只是制造商承诺——而非独立验证的结论。审计长在安大略省要求的强制性确认机制并未被提及。

德国内科医学会在2026年4月的年会上表示,AI正“开始具体改变临床日常工作”。

埃森大学医院医学人工智能研究所所长延斯·克莱西克同时警告说:“没有数字支持,我们未来将无法满足医疗护理中日益增长的需求。”

这听起来像是一个两难境地——系统不可或缺,但其成熟度却令人质疑。

在监管方面,欧洲的初始情况与安大略省截然不同。AI-Scribe处理的是受《通用数据保护条例》第9条保护的特殊健康数据。供应商必须进行数据保护影响评估,并证明技术保护措施的有效性。

根据功能范围,AI写作助手还可能作为医疗器械,受欧洲医疗器械法规的约束——届时CE标志、临床评估和上市后监督将成为强制要求。

许多供应商将其系统正式限定为“文档支持”,以避免落入更高的MDR风险类别。

已经生效的欧盟《人工智能法案》很可能将医疗保健领域的AI系统归类为高风险应用,并对其风险管理、数据治理和人工监督提出进一步要求。

这些规则在实践中能否发挥作用,还有待观察。安大略省也曾有规定——医生应手动审核AI笔记,使用需要患者同意。然而,缺乏执行这些规则的机制。没有强制审核的技术手段,也没有衡量临床文档中幻觉率的标准化方法。

信任不能一键获得

安大略省的核心教训不是技术性的,而是政治性的:如果采购过程中医疗AI的准确性仅占4%权重,而本地办事处占30%,那么优先级就很明确——而且显然是错误的。

斯彭斯向政府提出了十项建议,据加拿大广播公司报道,其中九项已被接受。这些建议旨在加强评估和治理流程,并提高安全与隐私的权重。

对德国而言,这意味着:在AI写作助手大规模进入诊所和医院之前,需要独立、标准化的测试——而不仅仅是制造商的承诺和展会演示。

正如最近一篇Telepolis报道所显示的,AI在医疗保健领域确实可以发挥作用,例如在检查药物相互作用方面。但只有在责任、质量评估和错误文化方面有明确规则时,其益处才能显现。一个会编造诊断结果的AI,不是减轻负担的工具——它是一个可能体现在每一份病历中的风险。

审计长斯彭斯向加拿大广播公司透露,她在自己的一次就诊中亲眼目睹了AI写作系统的使用。“我说了类似‘请完成后检查一下转录内容’的话”,她回忆道。至于她的医生是否照做了,她没有说。

【全文结束】