跳到正文
原文
arXiv cs.CL· Zhitong Chen, Weifeng Zhang, Kai Yin, Zhiyuan Wang, Ali Mostafavi, James Caverlee·· 4 小时前AI 评分68

论文指出结构化工作流规划中测试时推理的搜索增益主要源于发现阶段而非选择机制

From Apparent Search Gains to Selection Failures: Auditing Test-Time Inference in Structured Workflow Planning

AI 摘要

该研究通过 DisasterBench 基准测试拆解了模型在结构化多工具工作流中的推理过程,发现名义上的树搜索配置实际上仅实现了非自适应的完整工作流采样,而独立采样配合扩展提示词能复现其候选发现能力却无需构建搜索树。研究核心结论显示,结构验证从未移除候选池中的最后一个正确工作流,但多数投票机制却在 10-19% 的任务中遗漏了已发现的正确工作流,审计证实其中 57 个案例存在实质性的工具选择或信息流错误。

进一步分析表明,虽然具备工具规范意识的验证器能挽回部分损失,但其推翻的正确决策数量多于修复的数量。这一发现直接挑战了当前将性能提升归因于复杂搜索策略的主流解读,证明观察到的增益往往来自候选生成的多样性而非选择算法的优越性。事实层面确认了现有评估方法可能高估了推理阶段的优化空间,推断出单纯增加搜索深度未必带来实际收益,猜测行业需重新审视基于多数投票的选择机制设计。

对于工程实践而言,这意味着在构建 Agent 系统时应优先关注如何扩大正确工作流的发现概率,而非过度依赖复杂的后处理选择逻辑。报告建议未来研究应分别披露发现、有效性和选择三个阶段的指标,以区分真正的推理能力提升与统计假象。

来源:arXiv cs.CL · arxiv.org