AgentOrch 基准揭示全局与分步编排精度差距缩小

该研究通过新发布的 AgentOrch 基准，在 650 条企业标准作业程序（SOP）和 3,220 个运行时变体上对比了“逐步交互”与“全局编排”两种智能体工作流模式。结果显示，尽管逐步交互在所有评估模型中仍保持更高准确率，但最新最强模型的差距已从早期模型时期缩小约 79%。全局编排虽一次性生成完整可执行工作流且无需额外 LLM 调用，但在精度上尚未完全追上分步决策模式。 研究识别出三条进一步缩小差距的具体技术路径：增量式工作流构建可在无运行时反馈的情况下平均提升 9.98 个百分点的准确率；利用执行反馈修正完整工作流能改善所有模型表现，包括在保留的运行时变体上提升 6.13 个百分点；针对完整工作流的定向训练则使五款受训模型的准确率平均提升 12.18 个百分点。这些发现基于匹配的工具、环境和评估条件，排除了外部变量干扰。 事实层面确认了全局编排是降低推理开销的有效方向，推断表明随着特定训练策略的引入，其精度有望接近逐步交互水平。猜测部分在于未来是否会出现混合架构以兼顾两者优势，但这需等待更多实证数据支持。当前结论明确指向：在追求企业级 Agent 效率时，全局编排已具备实用潜力，但需配合针对性优化手段。