Reddit · MachineLearning· /u/Amazing-Fox-7295·· 5 小时前AI 评分55
Nvidia DreamDojo 论文因代码存在关键错误被指接受不当
Nvidia’s erroneous paper accepted as ICML’s spotlight [D]
AI 摘要
Reddit用户指出Nvidia在ICML获得Spotlight的DreamDojo机器人世界模型论文存在严重可信度问题,其发布代码中的后训练和预训练阶段均包含关键错误,导致论文声称的0.5 dB PSNR提升等实验结果无法复现或无效。该发现源于社区用户在尝试复现时结合Claude工具定位到代码缺陷,并注意到GitHub上已有其他用户报告了影响整个预训练流程的Bug。
核心证据显示,尽管作者使用了约4.4万小时人类数据及256张H100 GPU进行资源密集型的预训练,但实际性能提升微乎其微,这种低产出与高投入的不匹配在代码错误曝光后变得合理。论文中引用的Cosmos 2.5基座模型虽获百次引用,但DreamDojo作为其衍生作品,其宣称的改进幅度在代码逻辑错误的背景下显得缺乏说服力。此外,代码质量被描述为“非常糟糕”且非AI生成,进一步加剧了对开发流程严谨性的质疑。
这一事件揭示了前沿大模型研究中“发表即真理”的风险,特别是当开源代码存在未被发现的系统性错误时,不仅浪费后续研究者的算力资源,更可能误导行业对特定技术路线(如基于大规模人类数据微调)有效性的评估。事实层面是代码存在已知Bug且结果不可复现;推断层面是ICML审稿流程未能拦截此类基础工程错误;猜测层面是这是否反映了当前顶会评审机制在快速迭代的大模型领域存在盲区。
来源:Reddit · MachineLearning · reddit.com