ToolBottleneckBench 揭示工具菜单可见性是限制智能体性能的关键瓶颈

该论文发布 ToolBottleneckBench 基准，旨在在固定执行预算和受控压力下测量工具智能体的性能。研究发现，在合成企业任务中，注册工具目录、可见工具菜单和认证工作流三种压力源里，只有可见工具菜单会对模型产生巨大的性能惩罚，且这种惩罚与完成上限导致的截断直接相关。将完成上限提高十六倍可消除截断密集配置中的大部分惩罚。

数据表明，大多数失败发生在执行器（harness）限制处，而失败记录中分配的压力类型并不比工具调用次数更可靠地预测失败原因。研究中提出的修复方案中，只有两种能改变工具到达模型的路径或调用发起者，且这两种方案均未改善模型本身的行为表现。作者建议报告压力效应时必须同时注明测量时的执行器预算。

事实层面，该基准包含21种模型和执行器配置，通过精确评分器记录未满足义务和截断点。推断层面，当前工具智能体的评估往往忽略了执行环境约束对结果的干扰，单纯提升模型能力可能无法解决由工具暴露机制引发的性能下降。猜测层面，若未来基准测试不强制披露执行预算和工具菜单可见性设置，不同模型间的横向对比可能因环境差异而失效，导致行业对智能体真实能力的误判。