NVIDIA Cosmos 3 新增四个开放权重模拟模型
新检查点覆盖驾驶数据生成、流式模拟、模拟器画面生成和双臂动作预测;文档说明了闭环交互的外部依赖、动作数据约定与训练验证边界。
资讯整理 · huggingface.co · 原文日期 2026-11-05
四个检查点覆盖驾驶与机器人
NVIDIA 为 Cosmos 3 增加四个开放权重检查点,分别用于驾驶数据生成、流式驾驶模拟、模拟器画面生成和双臂动作观测预测。发布说明将它们列为 Cosmos 3 Nano 的后训练版本,采用 OpenMDW1.1 许可,商业与非商业使用均须遵守其条款。
驾驶闭环依赖外部控制更新
据说明,Sim-Auto 是 Transfer-Auto 的因果蒸馏流式版本,按块生成同步相机视频与激光雷达观测。初始图像为可选输入;生成激光雷达还需对齐的地图控制。闭环交互需要模拟运行时和 WSM 渲染器更新控制,新传感器布局或新领域应先适配 Transfer-Auto,再蒸馏。
Sim-Transfer 根据模拟状态生成画面
Sim-Transfer 接收模拟器的空间控制与文本提示,生成供策略使用的彩色观测。深度、分割和边缘等信息用于控制画面,文本引导外观;运动、接触和物理状态仍由模拟器计算。交互流程是先更新模拟状态,再生成画面,随后由策略决定下一步动作。
双臂预测须遵循动作数据约定
Sim-Bimanual 从场景与机器人动作直接生成下一次观测。接入时须遵循动作格式对坐标系、旋转、夹爪标定、有效性掩码及控制域的约定,使控制值表达预期运动。动作与观测也须保持时序对齐;发布的推理动作已归一化。
短程训练只能验证执行流程
文档给出的起步步骤是检查环境、验证一个样本,并在长时间运行前测试训练与重启恢复流程。质量评估应使用留出的交互片段。这里的判断边界是:短程运行成功只能说明流程能够执行,不能据此认定模型已经收敛。
原始标题:New NVIDIA Cosmos 3 Open Models for Interactive World Simulation
来源:huggingface.co