NVIDIA 发布四款 Cosmos 3 Nano 开源模型以支持交互式世界模拟与多传感器驾驶场景生成

NVIDIA 在 Hugging Face Blog 上正式发布了四个基于 Cosmos 3 Nano 架构的开源权重模型（Cosmos3-Nano-Transfer-Auto、Sim-Auto、Sim-Transfer、Sim-Bimanual），旨在解决机器人与自动驾驶领域对交互式、多视角及多传感器同步生成的需求。这四个模型均包含 16B 可训练参数，采用 OpenMDW1.1 许可协议，允许商业与非商业用途，并提供了从基础模型到特定任务的后训练配方。

核心差异在于生成模式与控制输入：Transfer-Auto 专注于离线双向合成，支持生成多达 11 个摄像头的同步视频及 LiDAR 点云，通过 World Scenario Map (WSM) 控制交通与场景结构；Sim-Auto 则是 Transfer-Auto 的因果蒸馏版本，利用滚动历史和控制更新实现快速流式输出，仅需少数去噪步骤即可生成长序列交互片段。Sim-Transfer 将物理仿真器的空间控制转化为 RGB 观测，而 Sim-Bimanual 则直接根据双机械臂动作预测下一帧视觉变化，支持 YAM 和 AgiBot 等具身智能体的交互模拟。

技术实现上，模型采用 Mixture-of-Transformers 骨干网络，结合时间因果注意力机制与 KV cache 缓存策略，在压缩潜在空间（latents）中操作，每个时间步代表 4 帧 RGB 图像。训练流程分为四个阶段：双向适应、教师强制、一致性蒸馏及自强制（Self-forcing），其中最后阶段专门用于缓解生成历史累积误差导致的错误放大问题。值得注意的是，官方测试环境基于 GB200 GPU 运行 vLLM-Omni 设置，但并未声明最低内存要求，且强调需先适配传感器布局再进行蒸馏，这暗示了实际落地中对硬件算力与数据适配的强依赖。事实层面确认了模型参数、许可协议及训练阶段，推断部分指出其可能成为具身智能闭环训练的标准基线，猜测则涉及未来是否会出现针对消费级显卡的优化版本。