德克萨斯州总检察长肯·帕克斯顿（以下简称“总检察长”）于2024年9月19日宣布，与总部位于达拉斯的医疗技术公司Pieces Technologies（以下简称“Pieces”）达成了一项具有里程碑意义的和解协议。该和解协议涉及对Pieces生成式人工智能（AI）产品能力的虚假和误导性声明。Pieces开发、销售并部署了帮助医疗保健提供者总结、记录和起草电子病历临床笔记的AI产品和服务。据报道，这些产品已被至少四家德克萨斯州的医院使用。这项“首例”和解协议解决了医疗技术公司在其生成式AI产品准确性方面做出的欺骗性和误导性陈述。
和解协议的关键细节：
- 虚假和误导性声明：总检察长办公室指控Pieces对其AI技术的性能和可靠性做出了夸大其词的声明。总检察长称，为了宣传其技术和服务，Pieces创建了一系列指标和基准，表明其生成式AI产品的准确性非常高。Pieces声称其产品的错误或“幻觉”率为“<0.001%”，即“每10万次中少于1次”。这些声明被指违反了德克萨斯州的《欺骗贸易行为及消费者保护法》。
- 和解条款：作为和解协议的一部分，Pieces同意：
- 停止对其AI产品做出任何虚假或误导性声明；
- 提供明确和显眼的披露，包括描述其生成式AI产品输出的测量方法及其含义或定义，以及用于计算测量的方法、程序或其他过程；
- 向客户提供明确和显眼的披露，告知其产品和服务已知或合理可知的有害或潜在有害用途或误用。这些披露文件应包括：(i) 用于训练其产品或服务的数据和/或模型类型；(ii) 其产品和服务的预期用途和目的，以及为促进正确使用产品和服务所需的任何培训或文档；(iii) 其产品和服务已知或合理可知的限制，包括使用产品和服务对患者和医疗保健提供者的风险；(iv) 已知或合理可知可能导致不准确输出或增加个人受伤害风险的产品或服务误用情况；(v) 每个产品或服务的所有合理必要的文档，以便用户了解产品或服务生成的输出的性质和目的，监控不准确性的模式，并合理避免误用产品或服务。
- 总检察长的立场和警告：总检察长帕克斯顿强调了AI产品在医疗保健领域的透明度和准确性的重要性。他指出：“在高风险环境中提供产品的AI公司有责任向公众和客户透明地说明其产品的风险、限制和适当用途。任何低于此标准的行为都是不负责任的……医院和其他医疗保健机构必须考虑AI产品是否合适，并相应地培训其员工。”
对技术公司和采购AI技术的企业的影响：
技术公司：
- 这项和解协议提醒技术公司确保其营销和宣传材料准确反映其产品和服务的能力和限制。
- AI开发者必须考虑向客户提供包括使用说明和文档在内的信息，以确保正确使用产品。事实上，某些监管制度（如科罗拉多州AI法案和欧盟AI法案）要求提供此类披露。
- 总检察长和解框架中的一个重要启示是，公司有义务披露产品输出的已知和合理可知的限制，以及客户理解输出所需的所有合理必要的文档。
- 公司必须优先在营销材料中保持透明度和准确性，以避免监管执法行动和调查，并且重要的是，维护客户和公众的信任。这可能包括与第三方审计师合作，确保有关错误率或“幻觉”的数据准确。
采购AI技术的企业：
- 和解协议还为在“高风险”领域（如医疗保健、教育、劳动和就业、金融服务和保险等）采购先进技术的企业提供了重要的启示。
- 制定供应商管理协议和采购“检查清单”等风险管理策略至关重要。
- 确保为用户提供适当的培训和教育，使其了解AI技术的正确使用和限制是必不可少的。
- 组织在采购第三方技术产品时应确保合同条款的健全性，包括与输出不准确、漂移或其他潜在输出错误相关的持续监控和补救措施。
结论
虽然总检察长将此宣布为与生成式AI公司达成的首例和解协议，但很可能是基于现有消费者保护法的许多州政府机构执法行动中的第一例。联邦贸易委员会（FTC）一直在积极监督AI技术公司，司法部（DOJ）已对嵌入电子病历中的AI技术的潜在欺诈和滥用行为展开调查。这些政府监管行动强调了无论你是AI工具的开发者还是用户，实施稳健的AI治理框架的重要性。
(全文结束)
