2024年9月18日，德克萨斯州总检察长（AG）宣布与一家专注于人工智能的医疗技术公司达成和解，以解决该公司对其产品准确性做出虚假和误导性声明的问题。该公司提供了一种生成式人工智能服务，以支持医院系统的医生和护士总结、记录病历以及起草临床笔记等电子健康记录功能。该公司宣传其产品具有减少AI幻觉的能力，使用了“高度调校的对抗性AI”和“经过认证的临床医生监督”。德克萨斯州总检察长声称，该公司声称其产品的高准确性和“关键幻觉率”低于0.001%的说法是虚假和误导性的，可能使医院对该产品的安全性和准确性产生误解，从而危及公共利益。总检察长调查了该事件，认为这是违反德克萨斯州欺骗性贸易行为—消费者保护法的行为。
尽管该公司否认所有不当行为，并坚称其关于幻觉率的陈述是准确的，但为了解决这一问题，该公司签署了一份自愿合规保证书。根据该协议，该公司同意在未来五年内遵守特定要求。具体要求包括：
- 如果公司在其营销或广告中直接或间接提及有关其生成式AI产品的输出指标，则必须明确且显眼地披露该指标的含义或定义及其计算方法。或者，该公司可以选择聘请独立审计师来验证这些声明；
- 公司及其代理不得（a）对其产品的准确性、测试或监控程序、指标或用于训练产品的数据做出任何误导性或未经证实的声明，（b）误导任何客户或用户关于其产品或服务的准确性、功能、用途或任何特性，（c）未披露参与公司营销或广告或为其产品或服务代言或推广的任何人的财务安排；
- 公司必须向其现有和未来的所有客户提供文档，清楚且显眼地披露其产品和服务的任何已知或合理可预见的潜在有害使用或滥用情况，其中包括（a）用于训练产品和服务的数据和/或模型类型，（b）详细说明产品和服务的预期目的和使用方式，以及必要的培训或文档以正确使用产品和服务，（c）产品或服务的任何已知或合理可预见的局限性，包括对患者或医疗服务提供者的风险，如因不准确输出导致的身体或经济伤害，（d）任何已知或合理可预见的产品或服务滥用情况，可能会增加不准确输出或个人伤害的风险，以及（e）所有其他合理必要的文档，以便用户理解产品或服务生成的输出的本质和用途，监测模式或不准确之处，并合理避免产品或服务的滥用。
超越德克萨斯州消费者保护执法：新兴的人工智能法律法规
随着商业界在医疗保健领域开发和使用人工智能的兴趣不断增长，立法者和监管机构的关注也在增加。自白宫于2023年底发布其关于安全、安全和可信发展和使用人工智能的行政命令以来，美国卫生与公共服务部（HHS）已发布了两项最终规则，涉及人工智能，即《健康数据、技术和互操作性最终规则》（2024年1月）和《平价医疗法案第1557条最终规则》（2024年5月）。在州一级，不仅在健康和保健领域，犹他州通过了《人工智能政策法》，科罗拉多州颁布了《与人工智能系统互动的消费者保护法》，而加利福尼亚州关于加州消费者隐私法下自动化决策技术的规定仍在草案阶段。即使没有专门针对AI的法律，然而，开发或使用AI的医疗保健提供者和供应商仍受现有的一般消费者保护和隐私法律的监管，正如德克萨斯州总检察长所展示的那样。
您可以做什么？
随着医疗实体及其服务提供商越来越多地实施和使用利用人工智能的产品和服务，包括机器学习、预测分析和生成能力，审慎的做法是以可信和负责任的人工智能原则为参考。除了应对新兴法律的具体要求外，建立、实施并记录AI治理计划不仅可以生产更好且更被接受的产品，还将为尚未制定的法律奠定合规基础。理解并采纳这些原则（算法有效性与可靠性、安全性、保障性和韧性、责任与透明度、解释性和可解释性、隐私以及公平性与减轻有害偏见）的一个实用的第一步是审查NIST人工智能风险管理框架、相关的生成式人工智能概况及其配套的NIST人工智能RMF手册。这种实用、灵活且风险平衡的方法可以帮助企业减少伤害的可能性，满足客户和监管机构的期望，并体验这一快速发展的技术所带来的日益增长的好处。
(全文结束)
