制造商们热衷于将人工智能和机器学习技术融入各种医疗设备中，从可以检测心脏问题的心脏监测器到可以发现放射科医生可能遗漏的恶性病变的医学成像系统。
美国食品药品监督管理局（FDA）已经批准了超过1,000种集成了AI和ML的设备，其中大多数是在过去五年内批准的。在周二发布的新草案指南中，该机构强调了在向FDA提交上市前申请以及在AI驱动医疗产品的生命周期管理中解决网络安全问题的必要性。
这份非约束性的FDA草案指南题为《人工智能赋能设备软件功能：生命周期管理和市场提交建议》，公开征求公众意见至4月7日。该文件涵盖了适用于开发和制造一个或多个AI赋能设备软件功能（包括机器学习、深度学习和神经网络以及其他类型的AI）的广泛考虑事项，其中包括一章专门讨论网络安全问题。
正如FDA所述，“如同任何集成到医疗设备中的数字或软件组件一样，AI可能会带来网络安全风险。”FDA已经在2023年的指导文件《医疗器械的网络安全：质量体系考虑和上市前提交内容》中提供了针对所有医疗器械制造商的通用设计和维护网络安全的建议，以及向FDA提交上市前申请时提供相关网络安全细节的要求。
尽管FDA表示，更广泛的早期指南也适用于AI赋能设备，但最新的草案文件深入探讨了与网络安全相关的问题以及各种网络威胁如何具体影响AI赋能产品。这些威胁包括：
- 数据投毒：恶意行为者故意注入不真实或恶意修改的数据，可能影响如医疗诊断等领域的结果。
- 模型反转和盗窃：威胁行为者故意使用伪造或篡改的数据来推断或复制模型，这不仅可能对模型性能构成风险，还可能导致知识产权和隐私泄露。
- 模型规避：黑客故意创建或修改输入样本以欺骗模型，导致错误分类，从而影响模型预测的可靠性和完整性，削弱对AI赋能设备的信任并使其容易受到恶意利用。
- 数据泄露：利用漏洞访问模型中的敏感训练或推理数据。
- 过拟合：威胁行为者故意“过拟合”模型，使AI组件难以有效适应修改后的患者数据，从而暴露其对抗攻击的风险。
- 模型偏差：威胁行为者操纵训练数据以引入或放大偏差。黑客可以利用已知偏差使用对抗样本触发有偏行为，在训练期间嵌入后门以稍后触发有偏行为，或利用预训练模型中的固有偏差，通过倾斜的微调数据加以放大。
- 操纵可能导致“模型性能漂移”，即通过改变底层数据分布，从而降低模型性能。
模型性能漂移和其他网络威胁“可能会随着时间推移逐渐改变输入数据，或利用动态环境中的漏洞，导致模型做出不准确的预测或更容易受到对抗攻击。”
关键考虑因素
一些专家表示，FDA的草案指南提出了AI赋能设备制造商及其用户的重要问题。
“AI带来了独特的一系列风险，”Prompt Security的联合创始人兼首席执行官、大型语言模型应用程序OWASP十大核心成员Itamar Golan说。如FDA指南所述，这些风险从数据投毒和提示注入到过拟合、模型偏差等。“虽然这些风险几乎适用于任何使用AI的行业和组织，在像医疗这样的高风险环境中，后果可能是毁灭性的。”
他举例说：“想象一下，一个使用特定设置训练的大型语言模型（LLM）的医疗设备，可能基于某些输入生成被操控的输出。例如，一个依赖于LLM的起搏器，接收来自身体和云端的数据。如果这个LLM在训练过程中被投毒，它可能会对包含诸如‘男性’、‘犹太人’或‘美国人’等词语的云端字符串做出不良反应。这不是理论上的，而是一个真实的攻击场景。”
FDA的草案指南还建议AI驱动设备的制造商向FDA提供上市前提交的详细信息，并制定缓解和管理计划以应对这些及其他网络安全风险和威胁。
圣约瑟夫医疗保健公司（位于安大略省）的数字工作空间运营和数字解决方案经理Dave Perry表示，对于AI赋能设备的制造商来说，在整个开发和产品生命周期中解决这些及其他网络安全问题是至关重要的。
“患者安全和数据保护应该是所有参与患者旅程各方的首要任务，AI在这个早期阶段的加入只会增加这一重要性和风险，”他说。“AI安全仍处于初级阶段，预算缩减使得这对IT部门来说更加艰巨。AI医疗设备供应商需要确保从设计到市场的每个环节都优先考虑安全，以维护品牌完整性和在快速升温的市场中的生存能力。”
此外，“医疗设备很少能及时更新软件，即使有可用的更新，这些重要更新的信息往往未被注意到或由于人员不足而成为较低优先级。过时的AI模型易受对抗攻击的影响，如提示注入，不及时更新，对它们持有的数据构成的风险不亚于传统的开放端口或简单密码。”
展望未来
虽然FDA的草案指南对设备制造商没有约束力，但它解释了该机构对AI赋能医疗设备提交的当前思考，Akerman律师事务所的监管律师Betsy Hodge表示。
“了解监管机构如何处理问题总是有帮助的，”她说。“草案指南还提醒设备制造商和部署商采用全面的产品生命周期方法，以确保设备的安全性和有效性。”例如，AI赋能设备在开发阶段对输入数据的敏感性可能与设备在现实世界中部署时使用的输入数据有所不同。
“AI赋能医疗设备制造商在整个产品生命周期中考虑网络安全问题至关重要，因为网络安全威胁可能危及设备的安全性和/或有效性，进而对患者造成伤害。”
Crowell & Moring LLP律师事务所的监管律师Linda Malek表示，虽然FDA的草案指南没有约束力，但它是“一份有用的路线图”，有助于医疗设备制造商保护其产品免受可能影响安全性和实用性的网络威胁。
“从商业角度来看，公司考虑并实施许多这些建议是有意义的，”她说。然而，由于即将更换美国总统，这份草案指南可能会有所延迟或大幅修改，因此目前很难预测最终指南会是什么样子。不过，这份草案指南“是保护AI赋能医疗设备的重要一步”。
(全文结束)
