InfraDev 基准测试显示 Coding Agent 在多卡 AI 基础设施开发中仅能解决不到四成任务

该论文发布 InfraDev 基准，包含 36 个源自 Megatron-LM、vLLM 和 verl 真实 Pull Request 的任务，要求智能体在跨多 GPU 环境中重新实现涉及多文件的复杂变更。在六个前沿模型上，表现最好的模型仅解决了 38.9% 的任务；若使用原始 PR 描述作为提示词，没有任何模型能解决单个任务。

评测机制的改进是核心发现：作者联合合成隐藏探针（hidden probes）与特定接口提示，以检测官方测试未覆盖的要求。结果显示，这些探针拒绝了 32% 通过所有官方测试但实际存在缺陷的提交。失败分析表明，结构错误和状态错误占主导，且智能体生成的测试很少检查内存、时间或流量等关键指标。此外，研究设计了共享执行环境，在 Megatron-LM 和 vLLM 上将存储减少 52-57%，构建时间缩短 13-14%。

事实层面，现有基准无法有效评估生产级 AI 基础设施的开发能力，且智能体自身测试存在严重盲区。推断层面，当前 Coding Agent 尚不具备独立承担大规模分布式系统重构的能力，必须依赖外部验证机制。猜测层面，将此类发现转化为特定技能可能将 Megatron-LM 任务解决率提升 10.5%，但这仍需进一步实证。