SWE-Duel 提出动态竞技场机制解决代码基准泄露问题
先了解这件事
2026年10月12日，arXiv cs.CL 发布论文提出 SWE-Duel，旨在解决静态编码基准随时间泄露和饱和的问题。该机制构建自我扩展的竞技场，让两个编码智能体在镜像的红蓝回合中相互评估：红方在真实仓库实现新功能并植入隐蔽缺陷，蓝方在不被告知存在缺陷的情况下进行审查和修复，仅当修复后的代码通过所有测试套件时才算获胜。实验在 15 个仓库、五种语言上进行了 1,500 轮对抗，涉及 11 个模型。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- arXiv cs.CLSWE-Duel 提出动态竞技场机制，证明新模型生成的代码任务更难被旧模型修复
该论文提出 SWE-Duel，一种旨在解决静态编码基准随时间泄露和饱和问题的自我扩展竞技场。其核心机制是让两个编码智能体在镜像的红蓝回合中相互评估：红方在真实仓库中实现新功能并植入隐蔽缺陷，蓝方在不被告知存在缺陷的情况下进行审查和修复，只有当修复后的代码通过所有测试套件时才算获胜。这种设计确保了任务难度由参与智能体的能力动态决定，而非发布时固定。 实验在 15 个仓库、五种语言上进行了 1,500 轮对抗，涉及 11 个模型 harness 参与者。结果显示 GPT-5.5 with Codex CLI 以 98.3% 的缺陷修复率成为最强求解者，而 Claude Opus 4.8 with mini-swe-agent 以 27.3% 的红方胜率成为最强任务构建者。关键发现在于同一模型家族内，新版本生成的任务击败固定参考求解者的比例（42.9%）远高于旧版本（4.0%），这为任务难度随作者能力扩展提供了初步证据。 事实层面，该研究验证了动态基准在防止数据泄露方面的有效性，并量化了不同模型在“出题”与“解题”上的能力差异。推断层面，这表明未来的编码 Agent 评估将逐渐从静态榜单转向动态对抗，因为静态基准已无法区分模型的真实进步。猜测层面，若此机制成为主流，可能导致模型训练策略向强化“生成高难度任务”的能力倾斜，从而改变当前仅关注修复率的单一优化方向。
本事件热度走势
当前热度 9·可比范围峰值 10（10月12日 12:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。