NVIDIA 发布基于临床数据的 Cosmos3-H-Dreams 手术模拟器

NVIDIA 正式推出 Cosmos3-H-Dreams，这是首个基于真实临床胆囊切除术视频和机器人运动学数据训练的实时生成式手术模拟器，支持在单张 NVIDIA RTX PRO 6000 GPU 上通过 FlashDreams 库进行交互式推理。该模型基于 Cosmos 3 架构，利用 Open-H-Embodiment 预训练权重，专门针对 CMR Surgical Versius 平台的双器械操作（Cadiere 抓钳和单极钩）进行了微调，能够根据工具动作实时生成包含组织形变、遮挡和烟雾变化的复杂解剖场景。 技术实现上，系统采用教师 - 学生蒸馏流程：首先使用双向教师模型学习长达 72 帧（7.2 秒）的手术动力学，随后将其蒸馏为因果学生模型以支持流式生成。目前提供两个检查点版本，分别对应每块视频生成的四步去噪和两步去噪，后者牺牲部分视觉质量换取更快的推理速度。为解决长序列生成中的误差累积问题，模型结合了 Self-Forcing 训练策略与适配的 FadeMem 模块来整合键值缓存，确保在长时间交互中保持解剖结构和器械外观的一致性。 该发布明确界定为研究模拟器而非临床验证系统，旨在为外科交互研究提供高保真环境。官方同步开放了完整的微调食谱、GitHub 代码库及 Hugging Face 模型权重，允许开发者将这套蒸馏框架迁移至其他数据集和具身设备。未来方向包括扩展全手术流程覆盖、结合数值仿真验证力学准确性以及开发自主手术策略，但当前阶段仍聚焦于视觉动态的学习与实时控制回路的建立。