据德克萨斯州总检察长（AG）称，至少有四家主要的德克萨斯州医院使用了Pieces Technologies, Inc.的生成式人工智能产品，用于从患者数据中生成临床摘要和文档。和解协议指控该公司开发了一系列指标，声称其医疗人工智能产品的“高度准确性”，包括宣传和营销这些产品和服务的准确性，声称“关键幻觉率”和“严重幻觉率”分别为“<0.001%”和“<1/100,000”。德克萨斯州总检察长认为，“这些指标可能不准确，并可能误导医院关于该公司产品的准确性和安全性”，违反了《德克萨斯州欺骗性贸易行为消费者保护法》。
尽管和解协议没有施加任何财务处罚，但要求该公司遵守一系列旨在确保对人工智能工具性能进行明确和显著披露的规定，包括：
- 营销和广告披露：对于任何包含直接或间接陈述有关任何指标、基准或类似测量结果的营销或广告，公司必须清楚和显著地披露（1）该指标、基准或类似测量结果的含义或定义，以及（2）公司或代表公司计算该指标、基准或类似测量结果的方法、程序或其他过程。或者，公司可以聘请独立第三方审计师评估其产品和服务的性能或特性，并确保所有营销和广告与独立审计师的发现一致。
- 禁止虚假陈述：公司不得对其人工智能产品作出任何虚假或误导性陈述。
- 客户披露：公司必须向当前和未来的客户提供文件，清楚和显著地披露其产品和服务的任何已知或合理可知的有害或潜在有害用途或误用。该文件必须至少包括以下信息：
- 用于训练产品和服务的数据和/或模型类型。
- 产品和服务的预期用途和用途的详细解释，以及所需的培训或文档以促进产品的正确使用。
- 产品或服务的任何已知或合理可知的限制，包括使用产品或服务对患者和医疗保健提供者的风险，例如产品或服务输出不准确导致的身体或财务伤害风险。
- 可能增加不准确输出或增加个人伤害风险的任何已知或合理可知的产品或服务误用。
- 对于每种产品或服务，所有其他合理的文档，使用户能够了解产品或服务生成的输出的性质和目的，监测不准确性的模式，并合理避免产品或服务的误用。
- 额外要求：公司必须通知其主要负责人、高级管理人员、负责和解涵盖行为的经理人员、参与与和解相关行为的代理人和代表，以及公司的继任者关于和解情况，并接受合规监控。
和解协议要求公司在五年内遵守这些规定，但公司可以在一年后基于其合规情况、州或联邦监管环境的变化，或生成式人工智能技术及相关行业标准、指标、基准或类似测量结果的变化和发展，请求修改或撤销和解协议。
作为和解公告的一部分，德克萨斯州总检察长肯·帕克斯顿强调了人工智能公司，特别是那些在医疗保健领域运营的公司，透明度的重要性。“在高风险环境中提供产品的AI公司有责任向公众和客户透明地说明其风险、限制和适当用途，”他指出。“任何低于此标准的行为都是不负责任的，会不必要地危及德克萨斯人的安全。医院和其他医疗实体必须考虑AI产品是否合适，并相应地培训员工。”
关键要点：
德克萨斯州总检察长的和解协议可能是州监管机构和其他当局针对AI开发者的众多执法行动中的第一例。和解协议展示了监管机构现有的执法工具，可以对被认定为不良行为者采取行动。和解协议要求的客户披露也可能预示着未来州或联邦AI立法可能要求AI开发者向部署者或其他受影响利益相关者提供的信息（如2024年5月生效的《科罗拉多州人工智能法》）。和解协议强调了AI开发和营销中的透明度、准确性和消费者保护的关键立法和监管优先事项。
德克萨斯州总检察长施加的补救措施为AI公司可以采用的预防最佳实践提供了起点。AI合规计划应包括类似的测试和文档。和解协议还表明，投资于面向消费者的、易于理解的AI解释将是重要的，类似于一些公司创建了网站上的“隐私中心”，超越了其隐私政策和使用条款中的正式语言，以赢得公众对其隐私声明和保护的信心。
在联邦层面，联邦贸易委员会（FTC）一直在利用其消费者保护权监督AI技术。FTC拥有广泛的权力，可以对被认定为不公平和欺骗性的声明（无论是AI还是其他方面）寻求执法。例如，FTC警告说，公司可能因对其AI产品的功效作出虚假或未经证实的声明，或对服务条款或隐私政策进行追溯更改以采用更宽松的数据做法（如开始与第三方共享消费者数据或将其用于AI训练）而违反《FTC法》。即使没有具体的AI规则，公司也应仔细审查其公开的评论和声明。其他联邦监管机构也开始加强对AI的监督。
虽然此次德克萨斯州执法的重点是AI开发者，但帕克斯顿总检察长的声明强调，开发者和采购者，包括提供者、支付者和其他医疗组织都受到审查。医疗利益相关者应优先实施AI治理框架，包括仔细评估和确保有关AI工具准确性和安全性的声明的实质性证据，无论是在开发、商业化、采购还是部署过程中。
(全文结束)
