UserSWE 论文指出交互预算改变编码智能体在动态用户场景下的排名

该论文提出 UserSWE 基准，用于评估编码智能体在与动态用户多轮对话中修复仓库级错误的能力，指出现有基准因缺乏交互导致误判。研究构建 pipeline 将历史与单轮任务转化为多轮任务，通过信息池约束模拟用户披露内容，并采用经过校准的转移模型生成角色链以控制对话风格。每个回合均执行测试，由不同模型家族的代理对撰写和裁决结果，以测试结果为主要证据。

在 72 个来自 42 个仓库的任务上测试了 11 个智能体，发现排名随交互预算变化：Claude Fable 5.1 在单轮解决最多任务，GPT-6-Astra 在第 8 轮表现最佳，而 Claude Opus 5 在大多数中间预算下领先。这一事实表明单轮性能不足以表征交互式编码能力。推断显示当前评估体系可能高估某些模型的实时协作潜力，同时低估需要多步推理的模型价值。猜测部分认为未来产品若强调 Agent 能力，需引入类似的多轮交互基准而非仅依赖静态代码库测试。

事实层面确认了多轮交互对评估结果的影响机制；推断基于数据分布得出排名波动结论；猜测涉及行业评估标准迁移方向，尚未被广泛采纳。