新研究指出 Agent 性能需同时评估模型与执行框架的交互匹配度

该论文提出一套包含五个互补指标的框架来评估 LLM Agent 系统，强调必须将模型（Model）与执行框架（Harness）作为整体进行联合评估，而非单独考察模型能力。研究团队在六个涵盖上下文管理、工具调用及多模态交互等场景的基准上，测试了四个通用框架（OpenCode、Codex CLI、Pi CLI、DeepAgents）与四个核心模型的组合，共产生 52,168 条执行轨迹。结果显示，不同模型与框架的配对表现差异显著，任务完成分数高并不等同于执行稳定性好。

关键证据显示，OpenCode 框架在跨模型适用性上排名第一，而 DeepSeek V4 Flash Preview 在共享基准面板上保持了极高的平均有效完成率（Mean VCR）。研究特别定义了“有效完成率”（VCR），即无论任务结果是否正确，Agent 能否正常结束并交付可评估结果的可靠性；同时通过“交互残差”揭示了被组件级摘要掩盖的特定配对优劣。这意味着单纯追求高任务得分可能掩盖了框架在失败处理或 Token 消耗上的缺陷。

这一发现推论出未来的 Agent 开发需从单一模型优化转向模型 - 框架协同设计。事实层面确认了现有基准测试中任务分数与执行稳定性的解耦现象；推断层面表明训练模型时需加入可迁移的框架使用能力；猜测层面认为若忽视这种交互匹配，后续部署的 Agent 系统在长周期运行中的实际可用性将低于预期。