Nvidia推出XR AI，作为GPU制造商，他们提供了一个用于AR眼镜和XR设备上AI代理的开发者库的公开测试版。该库旨在整合传感器数据、企业知识、AI模型和工具，以实现实时的上下文相关辅助。
AI代理助力现场工作
Nvidia将XR AI描述为一种应用基础，在这种应用中，AI代理不仅响应文本输入，还结合用户环境。为此，可以处理来自AR或XR设备的摄像头、麦克风、深度传感器、位置数据和其他传感器的数据。
这些代理因此能够捕捉用户当前看到或听到的内容、所处的空间情况以及可能与企业系统相关的信息。目标是提供一种在实际任务中提供支持的辅助，而不会通过不必要的叠加分散用户注意力。
多模态辅助的四大组成部分
据Nvidia称，公开测试版结合了多种功能。其中包括来自AR和XR设备的真实信号采集，如视频、音频、深度信息和传感器数据。此外还包括与专门服务和工具的连接，其中包括用于视觉AI和视频理解的Nvidia Metropolis以及用于在企业知识中搜索的Nvidia NeMo Retriever。
XR AI还将支持各种AI模型，包括Nvidia的Nemotron模型和Cosmos Reason。对于控制代理、使用工具和协调多个代理，Nvidia提到了NeMo代理工具包。制造商提到的计算基础包括DGX Spark、DGX Station和RTX Pro系统等。
工业、研究和医学应用实例
Nvidia提到了制造业作为可能的应用领域。西门子(Siemens)正在研究XR AI如何与DGX Spark一起为工厂工程师提供维护信息、故障排除、工作检查和文档方面的支持。例如，佩戴轻便眼镜的工程师可以询问有关可编程逻辑控制器的问题并直接获得提示。
在研究领域，AutoBio的公司Rana正在基于Nvidia XR AI使用其LabOS系统。该系统旨在支持科学家处理复杂的实验室流程，特别是在斯坦福大学医学院和普林斯顿大学的实验室进行干细胞治疗和基因编辑研究。
Nvidia还在医疗环境中展示了一个例子：匹兹堡大学医学中心的Surreality Lab展示了一个系统，该系统应该向手术团队提供上下文相关的信息。该系统会考虑外科医生视野中哪些区域不能被遮挡。
XR作为企业知识的接口
其他示例涉及设计、数字孪生和沉浸式学习环境。据Nvidia称，Innoactive使用XR AI更好地捕获和以后重用来自设计评审、产品演示和数字孪生的信息。Atlantic Studios则使用该技术对泰坦尼克号的扫描进行交互式展示，用户可以通过语音询问感兴趣的点。
Nvidia因此将XR AI定位为AR眼镜、企业数据和AI代理之间的纽带。公开测试版首先面向希望为工厂、实验室、诊所或沉浸式环境创建此类应用程序的开发者。其基础是Nvidia的软件库、AI模型和加速计算系统。
【全文结束】