德克萨斯州总检察长与Pieces Technologies就生成式AI广告不准确达成和解

Texas attorney general, Pieces Technologies settle allegations of inaccurate generative AI advertising

德克萨斯州总检察长与一家由健康系统支持的技术公司达成协议，解决了有关其生成式AI产品不如所声称的那样准确的指控。这家位于达拉斯的公司名为Pieces Technologies，开发了一种技术，可以在电子健康记录中生成AI生成的临床摘要和文档，供多学科护理团队使用。该公司最近宣布，已为其多个健康系统客户生成了超过540万份住院临床摘要。为了吸引客户，Pieces Technologies曾宣传了几项指标和基准，表明其生成式AI产品的准确性非常高。总检察长肯·帕克斯顿办公室在周三公布的自愿合规保证书中写道，其中最关键的是声称这些产品的关键幻觉率低于0.001%，严重幻觉率低于十万分之一。

然而，德克萨斯州总检察长办公室称，其调查发现这些指标可能不准确，可能会误导医院关于该公司产品的准确性和安全性。公告还指出，依赖AI工具的医院一直在实时向该公司提供患者数据以生成摘要，任何关于准确性的误导性声明都可能危及公众利益。根据帕克斯顿办公室分享的协议，Pieces Technologies否认有任何不当行为，并声称其未违反德克萨斯州的消费者保护法，也未错误表示其幻觉率。

该协议不是经济和解，也不涉及与公司涉嫌行为相关的任何财务处罚。然而，它要求Pieces Technologies更清楚地披露其工具性能的描述，并向客户和用户提供更明确的披露，涵盖产品的使用方式及其潜在危害。“在高风险环境中提供产品的AI公司有责任向公众和客户透明地说明其产品的风险、限制和适当用途。任何低于此标准的行为都是不负责任的，会不必要地危及德克萨斯人的安全。”帕克斯顿在宣布和解的声明中说，“医院和其他医疗实体必须考虑AI产品是否合适，并相应地培训员工。”

在一份声明中，Pieces Technologies表示，总检察长办公室的新闻稿“曲解”了双方的自愿合规保证，并且与其内容“完全不一致”。该公司重申其产品的安全性和准确性得到了正确的传达，并表示一直在致力于开发一个目前行业缺乏的生成式AI幻觉风险分类系统。该公司在其声明中表示：“Pieces强烈支持对临床生成式AI进行额外监督和监管，并签署了这项[自愿合规保证]，作为与德克萨斯州[总检察长办公室]真诚推进这些对话的机会。”“尽管对德克萨斯州[总检察长办公室]新闻稿中对本协议的令人失望且具有破坏性的曲解感到遗憾，但Pieces将继续在州和国家层面与共享共同承诺推进高质量和安全医疗服务的组织合作。”

就在与帕克斯顿办公室达成协议的消息传出约一周前，该公司宣布获得2500万美元的增长融资轮。值得注意的是，儿童健康和OSF HealthCare等健康系统是此次融资的主要参与者。“我们很荣幸在这样一个令人兴奋的转折点上得到主要健康系统和领先医疗投资者的支持。”首席执行官鲁本·阿马拉辛汉博士当时表示。Pieces Technologies的一位代表告诉《Fierce Healthcare》，公司“一直并将继续对我们的利益相关者保持透明，包括这一[自愿合规保证]事项。”

(全文结束)