美国国防部首席数字和人工智能办公室（CDAO）已成功完成了一个名为“众包AI红队测试（CAIRT）保障计划”的试点项目，该项目专注于在军事医学背景下使用大型语言模型（LLM）聊天机器人的应用。CAIRT计划支持国防部（DoD）生成自下而上的、众包式的AI保障和AI风险缓解方法。通过众包方式，项目能够收集大量数据并涉及广泛的利益相关者。
此次CAIRT LLM试点项目由技术公司Humane Intelligence执行，该公司致力于构建围绕算法评估的实践社区，并与国防健康机构（DHA）及国防医疗管理系统项目执行办公室（PEO DHMS）合作。通过红队测试方法——即使用对抗性技术内部测试系统稳健性——Humane Intelligence有效检测到特定系统漏洞。此外，红队测试吸引了希望参与新技术并作为潜在受益者为改善系统做出贡献的参与者。此前，在2024年春季，CDAO曾进行了一次有价值的红队测试CAIRT演习，利用财务奖励机制。
在最新的试点项目中，Humane Intelligence通过众包红队测试对两个潜在用例进行了测试：临床笔记总结和医疗咨询聊天机器人。超过200名参与者，包括来自DHA、健康科学统一服务大学及各军种的临床提供者和医疗分析师，参与了这次演习，比较了三种流行的LLM。演习发现了超过800项关于这些能力在预期用例中潜在漏洞和偏见的发现。此次演习将通过开发基准数据集产生可重复和可扩展的输出，可用于评估未来供应商和工具是否符合性能预期。此外，这些发现将在塑造国防部关于负责任使用生成式AI（GenAI）的政策和最佳实践中发挥关键作用，最终改善军事医疗服务。如果这些潜在用例被定义为OMB M-24-10中的覆盖AI，则它们将遵循所有必要的风险管理实践。
“由于在国防部内部将GenAI应用于此类目的仍处于试点和实验的早期阶段，该计划作为生成大量测试数据、发现考虑领域和验证缓解选项的重要路径，将对未来的研究、开发和GenAI系统的保障产生影响。”CDAO该倡议负责人Matthew Johnson博士表示。
正如最近的试点和其他项目所揭示的那样，通过CAIRT保障计划继续测试LLM和AI系统对于加速CDAO的AI快速能力单元、提高GenAI任务效率并在国防部用例中建立合理的信心至关重要。
(全文结束)
