InfraDev 基准评估显示 Coding Agent 多卡开发能力不足
先了解这件事
2026年10月28日，arXiv发布论文介绍InfraDev基准测试。该基准包含36个源自Megatron-LM、vLLM和verl的真实Pull Request任务，要求智能体在跨多GPU环境中重新实现涉及多文件的复杂变更。评测结果显示，在六个前沿模型中，表现最好的模型仅解决了38.9%的任务；若使用原始PR描述作为提示词，没有任何模型能解决单个任务。核心发现指出，评测机制的改进在于联合合成隐藏探针与特定接口提示，以检测官方测试中的潜在问题。
AI 根据报道生成 · 4 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- arXiv cs.AIInfraDev 基准测试显示 Coding Agent 在多卡 AI 基础设施开发中仅能解决不到四成任务
该论文发布 InfraDev 基准，包含 36 个源自 Megatron-LM、vLLM 和 verl 真实 Pull Request 的任务，要求智能体在跨多 GPU 环境中重新实现涉及多文件的复杂变更。在六个前沿模型上，表现最好的模型仅解决了 38.9% 的任务；若使用原始 PR 描述作为提示词，没有任何模型能解决单个任务。 评测机制的改进是核心发现：作者联合合成隐藏探针（hidden probes）与特定接口提示，以检测官方测试未覆盖的要求。结果显示，这些探针拒绝了 32% 通过所有官方测试但实际存在缺陷的提交。失败分析表明，结构错误和状态错误占主导，且智能体生成的测试很少检查内存、时间或流量等关键指标。此外，研究设计了共享执行环境，在 Megatron-LM 和 vLLM 上将存储减少 52-57%，构建时间缩短 13-14%。 事实层面，现有基准无法有效评估生产级 AI 基础设施的开发能力，且智能体自身测试存在严重盲区。推断层面，当前 Coding Agent 尚不具备独立承担大规模分布式系统重构的能力，必须依赖外部验证机制。猜测层面，将此类发现转化为特定技能可能将 Megatron-LM 任务解决率提升 10.5%，但这仍需进一步实证。
本事件热度走势
当前热度 9·可比范围峰值 9（10月28日 14:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。