单智能体与多智能体在金融审查任务中的对比显示多智能体未提升平衡准确率

这篇来自 arXiv 的实证研究通过受控实验比较了单智能体与多智能体大语言模型在财务审查任务上的表现，结论是分工协作并未带来预期的质量提升。研究使用 300 份合成信贷评估备忘录，针对四个模型测试了两种配置：单智能体一次性检查六项要求，或三个智能体团队（基于同一模型）每人检查两项要求且无角色分工。结果显示，虽然多智能体团队在部分模型上能多捕获 0.08 至 0.10 的缺陷（即召回率略升），但在所有四个模型上都显著提高了误报率（false alarms）。

关键细节在于效率与准确性的权衡。多智能体方案消耗了单智能体 2.2 到 2.4 倍的 token 数量，而衡量综合性能的“平衡准确率”（balanced accuracy）变化幅度不超过 0.02。此外，研究还发现一种替代策略——让单智能体采样三次并标记任意一次阳性结果——在某些模型上能获得比多智能体团队更高的平衡准确率。这表明简单的并行化或任务拆分并非解决复杂推理问题的通用解法，其效果高度依赖于具体的指令设置。

事实层面，该研究证实了在特定财务审查场景下，多智能体架构增加了计算成本且未显著提升综合准确性。推断层面，这提示从业者不应默认将“多智能体”视为提升可靠性的标准手段，特别是在资源受限或对误报敏感的场景中。猜测层面，若任务复杂度进一步增加或引入明确的角色分工机制，结果可能会发生变化，但仅凭当前实验无法支持这一假设。对于正在规划 Agent 架构的产品经理而言，这意味着需要重新评估多智能体方案的投入产出比，而非单纯追求架构的复杂性。