欧盟AI法案（法规（EU）2024/1689）是一项具有里程碑意义的立法，将塑造欧洲未来的AI发展，并有望成为其他国家和地区类似立法的基准。该法案将对AI行业和社会产生重大影响，因为它将为AI系统的开发和使用设定新的标准和规则，同时创造创新和竞争力的新机遇和挑战。欧盟AI法案试图以一种平衡的方式监管AI，既考虑其带来的好处，也考虑其潜在的风险。AI法案还将影响其他行业部门，如包含AI技术的医疗器械行业。医疗器械制造商将必须遵守AI法案。
所有AI系统被分为四个风险等级：不可接受、高风险、有限风险和最小风险。
- 被认为不可接受风险的AI系统将被禁止进入市场。例如，从互联网或闭路电视录像中未经目标地抓取面部图像、工作场所和教育机构的情绪识别、社会评分和生物特征分类以推断敏感数据（如性取向或宗教信仰）等。
- 高风险AI系统对人们的生活或权利有重大影响，如医疗保健、教育、执法或公共服务。这些系统必须遵守严格的要求，如数据质量、透明度、人工监督和准确性。高风险AI系统在上市前必须通过由特定指定的认证机构进行的合格评定。
- 有限风险AI系统可能对用户造成一定风险，如聊天机器人、情绪识别或生物特征分类。这些系统必须向用户提供明确的信息，并允许他们选择退出。
- 最小风险AI系统如垃圾邮件过滤器或视频游戏预计不会带来任何风险。尽管它们大部分豁免于法规，但仍必须遵循安全和公平的一般原则。
作为医疗器械一部分的AI将归类为高风险类别，并需要由认证机构进行监督，因为它们可能对人们的生活产生重大影响。
欧盟AI法案于2024年7月12日发布，将于2026年8月2日生效。然而，该法案的一些要素将于2025年8月2日成为强制性要求。
高风险AI系统的提供商必须在整个AI系统生命周期内实施质量管理系统（QMS），涵盖以下方面：
- 风险管理，以识别和减轻AI系统在整个生命周期内对健康、安全和基本权利的潜在风险
- 训练、验证和测试数据集的数据治理
- 技术文件的开发和维护：对于已经根据其他法规（如医疗器械）需要技术文件的产品，AI相关技术文件必须纳入现有技术文件中
- 数据记录，以确保AI系统在其整个生命周期内跟踪数据
- 标签，提供有关AI系统功能及其操作和维护的信息
- 设计，确保适当水平的准确性、稳健性、安全性和网络安全
- 市场后监测，包括收集并向相关当局报告事故和故障
QMS的实施将于2025年8月2日成为强制性要求，经济运营商的识别也是如此。
欧盟AI法案确定了高风险AI系统生命周期中的多个经济运营商，每个运营商都有与高风险AI系统相关的具体义务。
- 除了与QMS相关的义务外，不在欧盟境内的AI系统提供商必须任命一名位于欧盟境内的授权代表（AR），并确认AR的授权。
- AR必须核实DoC、技术文件，并确认已完成适当的合格评定程序，同时与主管当局联系。
- AI系统的进口商必须确保AI系统符合AI法规，并提供其名称和地址。进口商必须与主管当局合作，采取任何行动以减少和缓解AI系统带来的风险。
- 分销商必须核实AI系统附有适当的使用说明并带有CE标志。
- AI系统的用户必须按照使用说明使用。他们必须向国家监督机构、AI系统提供商、进口商或分销商报告任何严重事故、不可接受的风险或故障。
大多数医疗器械制造商已经确定并配备了经济运营商（AR、进口商、分销商），这是医疗器械法规的要求。然而，重要的是更新与这些经济运营商的合同，以包括与AI法案相关的义务。
投诉报告作为市场后监测的一部分将于2025年8月2日成为强制性要求。
欧盟AI法案设想创建一个欧洲数据库，其中所有提供商、AR和AI系统都将注册。它建立了监管结构以监督和执行法规。它创建了一个由成员国和欧盟委员会代表组成的欧洲人工智能委员会（EAIB），以提供指导、建议和关于AI事务的建议。它还指定了国家主管当局和认证机构来监控、审计和认证AI系统及其提供商。
为了支持创新，成员国将建立AI监管沙箱，供AI系统提供商在受控环境中开发、测试和验证创新AI系统。例如，西班牙已经启动了首批试点沙箱之一，由其国家人工智能监督机构（AESIA）负责。该试点沙箱旨在与西班牙的国家AI战略保持一致，并有望成为其他欧盟成员国的典范。其他成员国，如德国，正在制定类似的测试环境的监管框架，一些国家正在为交通、公共采购和医疗保健等特定部门实施沙箱。欧盟委员会还提供指导和支持，以标准化这些努力，旨在通过受监管的测试环境加速安全AI的发展。
全面遵守欧盟AI法案将于2026年8月2日成为强制性要求，届时AI系统必须符合要求，沙箱已建立，认证机构已指定并全面运作。
不合规的后果
欧盟AI法案引入了一套针对不合规或违反法规的制裁和补救措施。它授权国家主管当局对提供者、用户、进口商或分销商处以最高达其年度全球营业额4%的行政罚款，具体取决于违规的严重程度和持续时间。它还允许国家主管当局命令撤回、召回或修改不符合规定的AI系统，以及暂停或禁止其使用或供应。此外，它授予因不符合规定的AI系统而受到伤害或损失的个人或组织索赔权。
需要避免的陷阱
从高层次来看，要求似乎与医疗器械的一般要求相似，如QMS、经济运营商和认证机构。
然而，有一些需要注意的地方。例如，指定用于医疗器械的认证机构可能未被指定用于AI法案，这可能导致设备制造商不得不与两个不同的认证机构和检查员打交道。两个认证机构的编号必须在标签和符合性声明中引用。
使用AI作为其设备或设备软件一部分的医疗器械制造商应评估AI法案的要求，并确保将其纳入QMS中，因为截止日期不到一年。仅符合ISO 13485并满足医疗器械法规的QMS是不够的。QMS还必须涵盖高风险AI系统的网络安全要求，以防止篡改、数据泄露和其他安全风险。
结论
虽然AI法案中的要求看起来与医疗器械已经要求的非常相似，如QMS、经济运营商控制、市场后监测和认证机构的合格评定，但符合欧盟医疗器械法规并不足以满足AI法案的要求。制造商应尽早开始其合规之旅，以满足2025年8月和2026年的各个截止日期。
关于作者：
Hilde Viroux是PA咨询公司的高级监管策略师，专注于影响监管职能的新法规和新兴法规。
(全文结束)
