德克萨斯州总检察长肯·帕克斯顿指控生成式AI公司Pieces Technologies对其产品的准确性做出了虚假和误导性陈述。根据总检察长办公室上周发布的新闻稿，Pieces Technologies提供AI文档工具，开发了一系列宣传其产品低错误率的指标，但帕克斯顿称这些指标“可能不准确”，可能会误导使用这些工具的医院。
Pieces Technologies否认有任何不当行为，并认为其错误率是准确的。公司在上周三的一份声明中澄清说，它签署了一份自愿遵守保证书，而不是财务和解。帕克斯顿称此次和解是同类案件中的首例。
位于达拉斯的Pieces表示，其文档产品的“关键幻觉率”低于0.001%，而“严重幻觉率”低于十万分之一。根据和解协议，幻觉是指由AI模型生成的虚假或误导性结果。但总检察长认为这些指标不准确，可能会误导医院客户关于这些工具的安全性和准确性。据总检察长的新闻稿，至少有四家主要的德克萨斯州医院使用了Pieces的产品。
“在高风险环境中提供产品的AI公司有责任向公众和客户透明地披露其产品的风险、限制和适当用途。任何低于这一标准的行为都是不负责任的，不必要地危及德克萨斯人的安全。”帕克斯顿在一份声明中说。“医院和其他医疗实体必须考虑AI产品是否合适，并相应地培训员工。”
Pieces提供的工具可以生成患者护理摘要，在电子健康记录中起草进展报告，并跟踪出院障碍等。在一份声明中，Pieces辩称，总检察长发布的新闻稿曲解了和解协议，称命令中没有提到其产品的安全性或提供证据表明公共利益受到威胁。公司补充说，目前还没有行业范围内的标准来分类AI临床摘要的风险，而构建其系统花费了数年时间。风险分类系统会随机选择临床摘要进行审查，对抗性AI会标记任何可能包含严重幻觉的摘要，使用医疗记录中的证据。被识别的摘要将转交给医生进行审查、评估任何严重幻觉、纠正并提供更改的评论。
“Pieces强烈支持对临床生成式AI进行更多监管和监督的需求，公司签署了这份[自愿遵守保证书]，作为与德克萨斯州[总检察长办公室]真诚推进这些对话的机会。”公司写道。
AI是医疗保健领域最受吹捧的新兴技术之一，但美国尚未制定许多具体的法规来监督医疗保健领域的AI实施。一些专家和政策制定者担心，AI工具的快速推广可能会产生错误或偏见，从而加剧健康不平等。卫生与公共服务部正在组建一个AI工作组，该工作组将制定医疗保健AI的监管框架。该机构今年夏天还重组了其技术职能，将AI监管置于新命名的技术政策助理部长和国家卫生信息技术协调员办公室（ASTP/ONC）之下。
Pieces的和解发生在HHS重组几个月后。虽然没有财务处罚，但Pieces必须披露其准确性指标的定义及其用于计算这些测量值的方法，如果这些指标用于宣传或营销其工具的话。公司还必须通知当前和未来的客户有关其产品的任何已知有害或潜在有害用途，通知其董事和员工有关命令，并接受合规监测。命令将持续五年，但 Pieces最早可以在一年后申请撤销和解。
德克萨斯州对Pieces的调查包括对该公司AI幻觉风险分类系统的采访和广泛的书面记录，包括报告的指标、支持证据和计算，以及有关公司的信息，据 Pieces发言人称。总检察长办公室未回应有关其调查方式的置评请求。
(全文结束)
