美国国防部首席数字和人工智能办公室（CDAO）成功完成了一项名为“群体人工智能红队测试（CAIRT）”的保障计划试点项目，该项目专注于在军事医学背景下使用大型语言模型（LLM）聊天机器人。CAIRT计划旨在为国防部（DoD）生成自下而上的、基于群体的人工智能保障和风险缓解方法。通过群体智慧，项目能够收集大量数据并涉及广泛的利益相关者。
此次CAIRT LLM试点由科技公司Humane Intelligence实施，该公司致力于围绕算法评估建立实践社区，并与国防健康机构（DHA）及国防医疗管理系统项目执行办公室（PEO DHMS）合作。通过红队测试方法——即使用对抗性技术内部测试系统稳健性——Humane Intelligence有效检测到了特定系统漏洞。此外，红队测试吸引了希望参与新技术的人员，作为潜在受益者，他们有机会为改进系统做出贡献。此前，在2024年春季，CDAO曾进行过一次有价值的红队测试CAIRT演习，采用了金融奖励机制。
在最新的试点项目中，Humane Intelligence利用群体红队测试方法，针对军事医学中的两个预期应用场景进行了测试：临床笔记总结和医疗咨询聊天机器人。超过200名参与者，包括来自DHA、健康科学军校服务大学及各军种的临床提供者和医疗分析师，参与了这项比较三种流行LLM的演习。演习发现了超过800个与这些预期应用场景相关的潜在漏洞和偏见。这次演习将通过开发基准数据集，产生可重复和可扩展的输出，用于评估未来供应商和工具是否符合性能预期。此外，这些发现将在塑造国防部关于生成式人工智能（GenAI）系统负责任使用的政策和最佳实践中发挥关键作用，最终改善军事医疗服务。如果这些预期应用场景在部署时符合OMB M-24-10中定义的受保护AI，则需遵守所有必要的风险管理实践。
“鉴于在国防部内部将生成式人工智能应用于此类目的尚处于试点和实验的早期阶段，该计划作为生成大量测试数据、提出考虑事项和验证缓解选项的重要路径，将对未来可能部署的生成式人工智能系统的研发和保障产生深远影响。”CDAO的项目负责人Matthew Johnson博士表示。
正如最近的试点和其他项目所揭示的那样，通过CAIRT保障计划继续测试LLM和AI系统对于加速CDAO的人工智能快速能力单元、提高生成式人工智能任务效果以及在整个国防部用例中建立合理的信心至关重要。
(全文结束)
