医疗保健中的代理式AI是一项风险巨大的提议Agentic AI in Healthcare Is a Risky Proposition

环球医讯 / AI与医疗健康来源:www.govinfosecurity.com美国 - 英语2026-05-29 16:23:41 - 阅读时长4分钟 - 1501字
Health-ISAC发布的报告警告称,医疗保健领域中代理式AI的使用面临重大风险,包括治理薄弱、凭证滥用等问题,这些问题在AI赋能的工作流程中会被放大,可能导致患者安全风险和医疗服务中断。报告建议组织采用持续风险管理框架,将人类和AI行为视为企业攻击面的一部分,将AI代理视为"数字工作者"进行管理,并要求首席信息官、IT经理和数据所有者在工具和工作流程中嵌入防护措施,以避免攻击变得更加快速、广泛和具有破坏性,同时强调组织必须从简单的AI合规转向真正的AI所有权文化。
医疗保健代理式AI患者安全电子健康记录网络安全Health-ISAC风险管理临床护理AI所有权文化
医疗保健中的代理式AI是一项风险巨大的提议

人类会犯错。他们会陷入钓鱼诈骗并点击恶意链接。机器未必更好:将决策委托给代理式人工智能工具可能会显著加剧网络安全风险,一个医疗保健行业组织警告称。

另请参阅:了解你的敌人:网络弹性面临的威胁

Health Information Sharing and Analysis Center(健康信息共享与分析中心,简称Health-ISAC)首席安全官埃罗尔·韦斯表示,过度授权的账户、薄弱的治理和凭证滥用——所有这些问题在AI赋能的工作流程中都会被放大。该中心周二发布了一份来自Living Security的报告,提供了在医疗保健环境中管理代理式人工智能风险的建议。

韦斯表示,风险不仅限于数据安全和隐私风险。患者安全和护理连续性需要电子健康记录和正常运行的诊所。一个恶意AI代理可能会中断正常的医疗服务流程。"通信中断会减缓护理并增加错误,"他说。

组织可能缓慢意识到代理式AI的风险。最初,AI的使用通常是非正式且未经批准的。但尽管AI代理在原始能力方面取得了巨大进步,它们的行为仍然容易出现大幅波动——正如一位初创公司创始人今年早些时候发现的那样,一个AI代理在9秒钟内删除了三个月的生产数据——尽管明确指示其不要猜测其行为后果(参见:AI代理在9秒API调用中清除初创公司数据)。

韦斯说:"当AI代理在没有强有力的身份和策略控制的情况下实施时,攻击者只需一个立足点即可滥用委托的权限。"

该中心建议组织采用一种框架,将传统的安全意识培训转变为包含人类行为和代理式AI风险的持续风险管理。"成熟度模型很清晰——你无法管理你看不到的东西,"韦斯说。

这包括将人类和AI驱动的行为视为企业攻击面的一部分,并监控AI代理活动(例如其访问权限)。风险管理者应将AI代理视为具有明确定义的所有权、监控、日志记录和批准用例的"数字工作者"进行管理。

报告指出,基于合规的培训应被基于风险的干预措施所取代,组织应建立跨职能治理模型,涉及安全和隐私官员以及临床领导和人力资源部门。

韦斯说:"首席信息安全官应该持续管理劳动力风险,并根据观察到的风险行为和暴露进行干预,而不是依赖通用的完成指标。"

他表示,解决这些问题不仅仅是医疗保健首席信息安全官及其团队的责任。

"高管、临床和运营领导应将网络安全视为患者安全和弹性规划的一部分,"他说。领导者应赞助停机计划,确保临床经理参与演练,并强化安全工作流程与技术同样重要。

此外,人力资源、合规、法律和隐私部门应强化AI使用的"所有权",而不仅仅是遵守规则,韦斯表示。"组织必须从简单的AI合规转向真正的AI所有权文化。员工不应只是遵守规则;他们必须对其部署的AI系统的行为负责。"

首席信息官、IT经理和数据所有者应在工具和工作流程中嵌入防护措施,他表示。"如果医疗保健在没有匹配的治理和可见性的情况下添加代理式自动化,可能会无意中使攻击更快、更广泛且更具破坏性。"

关于作者:

麦吉是Information Security Media Group旗下HealthcareInfoSecurity.com媒体网站的执行编辑。她拥有约30年的IT新闻工作经验,其中15多年专注于医疗保健信息技术问题。在2012年加入ISMG之前,她曾是InformationWeek杂志和新闻网站的记者,并在InformationWeek医疗保健IT媒体网站的启动中发挥了主导作用。

【全文结束】