arXiv cs.AI· Yuchen Ling, Shengcheng Yu, Zhenyu Chen, Chunrong Fang·· 5 小时前AI 评分68
Jev 集成虽降低单步决策成本但未能普遍提升 Agent 任务成功率
When Faster Decisions Do Not Make Better Agents: An Empirical Study of Jev in Agent Workflows
AI 摘要
这篇论文通过 4,500 次任务执行实验,发现将 Jev 模型集成到 Agent 工作流中虽然显著降低了决策成本和延迟,但并未转化为普遍的任务完成效率提升。在 ALFWorld 和 AndroidWorld 两个代表性场景中,任务成功率在 ALFWorld 上保持接近基线水平,而在两个移动应用 Agent 中则出现明显下降。
核心机制在于辅助推理和额外交互消耗了决策层面的节省资源,导致失败后的恢复机制失效或过早完成任务。数据显示,尽管单次尝试的支出下降,但在其中一个 Agent 中,每次成功交付的平均成本反而上升。这表明局部优化(如更快的决策)若缺乏对进度保持、恢复支持和结果验证的系统性保障,无法有效传递到任务层面。
事实层面确认了 Jev 能降低决策成本;推断层面指出当前 Agent 架构在引入高效决策模型时存在“收益抵消”风险;猜测层面认为未来设计需优先解决恢复与验证机制而非单纯追求决策速度。该研究为评估 Agent 商业化质量提供了新的基准:不应仅看单次调用成本,而应关注成功交付的资源消耗与行为鲁棒性。
来源:arXiv cs.AI · arxiv.org