美国国防部首席数字和人工智能办公室（CDAO）成功完成了名为“众包AI红队测试（CAIRT）保证计划”的试点项目，该计划专注于在军事医学中使用大型语言模型（LLM）聊天机器人的应用。CAIRT计划支持国防部（DoD）生成自下而上的、众包的方法来确保人工智能的安全性和降低风险。通过众包，项目能够收集大量数据并涉及广泛的利害关系者。
此次CAIRT LLM试点由技术公司Humane Intelligence与国防卫生局（DHA）及国防医疗管理系统项目执行办公室（PEO DHMS）合作开展。Humane Intelligence通过红队方法——即使用对抗性技术内部测试系统的稳健性——有效检测了特定系统漏洞。此外，红队测试吸引了希望参与新技术的人员，并为可能的未来受益者提供了改进系统的贡献机会。此前，在2024年春季，CDAO曾进行了一次有价值的红队测试CAIRT演习，利用财务奖励机制。
在最新的试点项目中，Humane Intelligence通过众包红队测试，针对军事医学中的两个潜在用例进行了测试：临床笔记总结和医疗咨询聊天机器人。超过200名参与者，包括来自DHA、健康科学统一服务大学以及各军种的临床提供者和医疗分析师，参与了这次演习，比较了三种流行的LLM。演习发现了超过800个与这些潜在用例相关的潜在漏洞和偏见。该演习将通过开发基准数据集产生可重复和可扩展的结果，这些数据集可用于评估未来的供应商和工具，以确保其性能符合预期。此外，这些发现将在塑造国防部关于负责任使用生成式人工智能（GenAI）的政策和最佳实践中发挥关键作用，最终改善军事医疗服务。如果这些潜在用例在未来部署时包含OMB M-24-10中定义的受保护AI，则将遵循所有必要的风险管理实践。
CDAO的负责人Matthew Johnson博士表示：“由于在国防部内部将生成式人工智能应用于此类目的尚处于试点和实验的早期阶段，该计划作为生成大量测试数据、揭示考虑领域和验证缓解选项的关键路径，将塑造未来的研究、开发和保障，以便将来可能部署的生成式人工智能系统。”
正如最近的试点和其他项目所揭示的那样，继续通过CAIRT保证计划测试LLM和AI系统对于加速CDAO的人工智能快速能力单元、提高生成式人工智能任务的有效性以及在整个国防部用例中建立合理的信心至关重要。
(全文结束)
