MS-Eval基准揭示MAD-SAE架构下闭源模型成本升性能降

arXiv 发布的 MS-Eval 评估套件针对 MCP 密集型场景下的主代理委托与子代理执行（MAD-SAE）范式进行了量化分析，对比了四种变体和八个前沿模型。研究发现子代理专业化（Spec）是最佳实践，开源模型在多数情况下与闭源模型具有竞争力。然而，MAD-SAE 架构普遍导致成本上升，其收益具有条件性：该架构主要使开源模型在性能和效率上获益，而闭源模型则面临成本增加和性能退化的局面。 这一结论基于对单代理解决方案、上下文卸载效果及真实子任务并行度的案例追踪。材料指出，不必要的或冗余的委托会将同样的成本转化为纯开销，从而抵消并行带来的优势。评估指标包括定制的委托和编排度量以及 MSQ 指数，揭示了当前多智能体系统在复杂任务处理中的实际效能差异。 事实层面，MAD-SAE 确实提升了部分开源模型的效率，但同时也增加了整体成本结构。推断表明，对于依赖高算力闭源模型的团队，盲目采用多智能体并行策略可能并不划算，需重新评估单位经济模型。猜测成分在于未来是否会出现专门优化闭源模型在多智能体环境下的新架构，以解决当前的成本与性能倒挂问题。