Physical AI 系统必须在理解真实世界之后才能在其中行动。NVIDIA Cosmos 3 是 Physical AI 的前沿基础模型,将物理推理、世界生成和行动生成整合在单一开放模型中,采用混合 Transformer 架构,包含推理塔和生成塔两个核心组件。
推理塔是一个视觉语言模型,负责理解图像、视频和文本等多模态输入,分析运动、物体交互等物理上下文。生成塔基于推理塔的理解,通过扩散过程生成物理感知的视频和行动输出。这种架构使单一模型即可同时完成推理和生成任务,消除多个模型和推理流水线之间的编排开销。
NVIDIA 开源了 Cosmos 3 Nano 和 Cosmos 3 Super 模型检查点、训练脚本、部署工具和数据集,以及用于领域适配的后训练脚本。开发者可通过 Cosmos NIM 微服务在 NVIDIA GPU 上轻松部署。
WeChat
Profile