安大略省审计长在一份最新报告中指出,专为该省医生设计的人工智能记录工具提供了不正确或不完整的信息,或表现出"幻觉"现象,且这些工具未得到充分评估。
安大略省审计长雪莱·斯宾斯是在对该省公共服务部门人工智能使用情况的更广泛调查过程中发现这一问题的。
她表示,在为转录医生与患者对话的人工智能医疗系统进行省级采购过程中,政府评估人员发现了20个程序生成的转录记录中存在严重错误。
审计报告指出:"AI记录系统生成的医疗记录不准确可能导致不充分或有害的治疗计划,可能影响患者的健康结果。"
"重要的是,必须对AI记录系统进行测试,以确保其生成记录的质量,最大限度地减少不准确性。"
报告称,评估人员通过AI系统运行了两组假设的医生与患者对话来测试其能力,并发现了这些问题。
评估人员发现,9个系统存在所谓的"幻觉",即编造信息或对患者治疗计划提出医生未曾做出的建议。报告称,这些包括为患者推荐治疗或要求进行血液检查。
20个程序中,有12个创建的转录记录包含不正确的信息,例如记录了与医生处方不同的药物。20个系统中有17个遗漏了关于患者心理健康问题的关键细节。
审计长还发现,一些系统供应商在采购过程中未提交第三方审计报告、认证或威胁风险评估。然而,政府仍然批准了4个系统。
这些系统已在全省范围内使用,但政府已向医生发布了指南,要求手动审核AI生成的记录以确保其准确性。审计长建议该省在系统中实施IT控制措施,强制医生确认他们已审核过这些记录。
斯宾斯表示,她在最近一次就诊时亲眼目睹了AI记录系统的使用。
她说:"我实际上是因为声音不太正常才去看医生的……他们正在使用AI记录系统。所以,我提了一下,'完成后请查看一下转录记录。'"
斯宾斯表示,她并不建议安大略省居民效仿她的做法,而是敦促政府彻底测试其记录系统,以确保"我们购买的AI能够为安大略省人民服务。"
公共服务和商业服务交付及采购部长斯蒂芬·克劳福德表示,报告中指出的错误是在测试阶段发现的。
他说:"使用此产品的医生会监督其每一个方面。因此,任何地方由人工智能做出的任何决定都由专业人士监督。"
克劳福德表示,AI记录系统旨在为医生节省时间。
"这让他们有更多时间陪伴患者,减少记录时间。"他说。
卫生部长西尔维娅·琼斯没有参加周二政府新闻发布会以回应审计长的报告。
周三,部长发言人在一份声明中表示,目前安大略省约有5000名医生正在使用AI记录系统,且该省没有已知的与使用这些系统相关的患者伤害报告。
埃玛·波波维奇在声明中表示,医生"必须审核并批准"所有文件,然后才能将其添加到患者的医疗记录中。
她说:"这项技术的使用完全是自愿的,并且需要患者同意,包括在预约期间使用前告知患者AI将如何使用。"
绿党领袖迈克·施赖纳表示,审计结果"令人深感不安",并引发了患者安全问题。
施赖纳说:"如果政府要使用这些工具,我们需要确保……它们在部署前正常工作。"
审计长表示,她向政府及其采购机构提出了10项建议,以改善公共部门对AI的使用,政府已同意其中9项。
这些建议主要集中在加强安全和隐私保护。
【全文结束】

