Liu & Han 研究发现复杂 Coding Agent 框架增加成本但未提升 SWE-bench 通过率

Liu & Han 的研究通过对比 Claude Code、OpenCode 和 mini-SWE-agent 三种框架在 Qwen3.6、Deepseek-V4-Flash 等模型上的表现，发现更复杂的框架并未带来更高的任务解决率，反而导致单次任务成本最高增加三倍。测试显示，不同框架间的性能差异与同一设置下的随机重跑波动相当（约 13%），表明所谓的“领先优势”大多属于测量噪声。

成本差异主要源于系统提示词（system prompt）和工具描述的大小：Claude Code 的初始上下文约为 16,600 tokens，而 mini-SWE-agent 不足 1,000 tokens，且前者会将推理输出保留在对话历史中，进一步推高消耗。此外，OpenCode 因缺乏输出续写机制和离线搜索限制，表现出显著的统计劣势。唯一观察到框架影响结果的情况是启用“Extended Thinking”时，关闭该功能会导致部分模型在特定框架下通过率下降约 11 个百分点。

事实层面，该研究基于 SWE-bench Verified 的 45 个最难任务和 447 个任务的池子进行离线测试，数据脚本已开源。推断层面，这意味着当前流行的“技能系统”或复杂工具链可能只是增加了账单而非智能，Nvidia 近期降低 Token 成本的举措也印证了优化 Agent 引导比堆砌工具更有效。猜测层面，对于依赖长上下文的特定模型组合，框架选择的影响可能存在未被完全解释的变量，需更多跨基准验证。