SWE-Shift 基准测试显示 Coding Agent 在任务执行中遭遇环境变更时成功率显著下降

arXiv 发布的 SWE-Shift 基准测试指出，现有 Repository-level 编码基准大多假设任务与环境在执行期间保持不变，而实际开发中代码、依赖、运行时状态和需求会持续变化。该研究构建了包含 120 个场景的评估体系，覆盖 12 类变更家族，并在九个预设干预位置进行测试，旨在衡量 Coding Agent 在处理中途变更时的表现。测试结果显示，所有被评估的 17 个 Coding Agent 系统在 Shifted（变更）条件下的成功率均低于 Clean（无干预）条件，表明静态高分无法代表动态环境下的真实能力。

具体数据揭示了严重的退化现象：GPT-6 Astra 在 Clean 条件下成功率为 67.35%，但在引入相关变更后骤降至 24.79%，且仅有 20.34% 的案例实现了任务完成与工作保留的配对成功。更严峻的是，涉及工具或会话变更以及证据过期的场景在所有系统中均录得零配对成功率。部分系统在某些后期干预位置的表现甚至出现波动，说明不同架构对变更的敏感度存在差异。这些事实证明，仅凭静态任务的成功率无法推断模型在复杂工程流中的鲁棒性。

这一结果对行业推论具有关键意义：当前主流评测可能高估了 Coding Agent 在真实开发工作流中的可用性。事实层面，SWE-Shift 证实了“任务完成”与“状态恢复/证据刷新”之间存在断裂；推断层面，这意味着基于静态基准优化的模型在引入 MCP 工具调用或长上下文维护时面临巨大风险；猜测层面，未来产品竞争焦点将从单纯的任务解决率转向对变更管理的机制设计，如自动检测 stale evidence 或动态重规划能力。若厂商继续忽视此类动态基准，其商业化承诺将难以通过实际工程验收。