在医疗保健领域,基于算法的应用具有广阔的潜力。它们可以显著减少文档处理所需的工作量,支持手术室团队工作,并实现自学习设备或个性化植入物和假体。正因如此,越来越多的制造商、软件提供商、IT服务公司和实验室正在投资于AI驱动的产品和服务。管理咨询公司麦肯锡进行的分析表明了这一点。与此同时,立法者正在收紧规则——全球范围内,政策制定者正通过日益增多的立法、法规、指南和治理框架加强对AI的监管。因此,公司受益于通过AI管理系统(AIMS)进行的结构化管理,这确保其技术保持前瞻性并领先于行业趋势。
弥合差距
既定标准如ISO 13485(质量管理)和ISO 14971(风险管理)在医疗器械领域分别对质量和风险管理仍然重要,但它们无法回答AI使用中提出的每一个问题。在某些情况下,这是因为这些标准尚未与当前的AI使用案例保持同步。
为帮助弥合这一差距,ISO/IEC 42001标准应运而生。该标准于2023年底发布,虽然不能解决所有监管问题,但为许多最相关的问题提供了框架。已经基于ISO 13485建立质量管理体系的公司拥有坚实的基础。尽管结构不完全相同,但两个系统都依赖于相同的基本逻辑:通过计划-执行-检查-改进(PDCA)循环规划流程、实施流程、审查结果并持续改进。
首先是风险分析
企业在不了解每个应用的预期用途、使用环境和风险概况的情况下,无法负责任地管理AI。在项目初期进行结构化评估有助于组织识别相关要求,明确责任并为开发和部署建立适当的控制措施。
ISO/IEC 42001为这一点提供了框架。它涵盖了AI系统的整个生命周期中的AI治理,并支持组织嵌入明确的监督、文档、审查和改进流程。
该标准的核心理念不是在启动时进行一次性检查,而是持续治理。这包括持续监控、定期质量检查和结构化改进措施。通过这种方式,组织可以帮助确保基于AI的解决方案在整个运营过程中保持可靠性、透明度和适用性。
错误可能未被察觉的地方
医疗技术中AI用例的范围正在迅速扩大。因此,公司经常询问是否每个AI系统都需要正式管理。在没有结构化审查的情况下将应用视为无害可能会产生真正的问题。其中一个原因是偏见:如果训练数据存在扭曲、不完整或不平衡,输出也可能存在缺陷。
这些问题的后果可能既具体又严重。语音控制系统在用户使用地方方言时可能会失效。主要基于浅色皮肤图像训练的皮肤癌软件可能对深色皮肤人群产生不可靠的结果。更新是另一个风险来源。无论更改是手动安装还是自动安装,系统在更新后必须仍能像更新前一样可靠地运行。
AIMS的附加价值
在这样的环境中,AI管理系统(AIMS)提供了具体的优势。医疗技术越来越依赖于软件,无论是作为独立产品还是作为更大系统的一部分。ISO/IEC 42001帮助公司更清晰地组织开发工作,并更精确地定义责任。该标准还支持监控和更新管理。这一点很重要,因为每个新模型版本都可能引入新的风险。AI管理系统帮助决策者识别这些风险,分配责任并维护完整的文档。因此,AI治理应在产品开发阶段就开始,而不是在上市后准备阶段。
不仅适用于经典AI产品
ISO/IEC 42001的要求也可能适用于没有内置AI的消费产品,例如在自动评估求职申请、监控供应商或数字文档管理方面。AI管理系统可用于识别供应链中的薄弱环节,并提高与文档要求和数据保护相关的效率。
另一类受益于AI管理系统使用的产品是已经上市的现有产品。当公司替换、添加或更新软件模块时,他们可能还需要重新评估以确保符合相关立法。AI管理系统不仅支持这一过程,还协助文档记录。与新开发的系统一样,结果是更大的透明度和更强的法规一致性。
临床决策中使用的高科技系统提供了另一个例子。在这里,ISO/IEC 42001帮助组织记录变更,确保人工监督并识别与偏见相关的风险。
实践中的认证
瑞士公司Unique展示了审计认证如何进行。该过程始于在外部合作伙伴支持下进行的差距分析。此次审查检查了公司的AI政策、产品生命周期管理和影响评估。识别出的合规差距随后成为启动新流程或改进现有流程以满足规范要求的基础。
随后是两阶段审计程序。在第一步中,专家评估AI管理系统(包括其文档、责任和范围)是否已准备好进行认证。在第二步中,重点转向在相关流程中实际实施要求。
这家瑞士金融科技专家成为欧洲首家获得ISO/IEC 42001认证的公司。该证书有效期为三年,前提是定期监测AI管理系统的有效性。
从合规到竞争优势
随着监管期望的不断发展,AI治理正成为一种战略差异化因素。早期实施结构化管理系统的公司可以降低合规风险,加速市场准入,并与监管机构和客户建立信任。
【全文结束】

