证据门控机制在多智能体审查中效果因模型而异

该论文通过96项空间政策任务和96项组合转移基准测试，对比了宽泛审查权与基于证据的门控审查机制在LLM多智能体系统中的效果。研究发现，虽然门控机制能显著减少正确提案被错误替换的情况，但其有效性高度依赖具体模型和界面设计，并非普遍适用的解决方案。 实验数据显示，在引入显式选择（保留、替换或升级）的界面后，Qwen模型完全消除了正确提案的 corruption，但Mistral模型仍替换了全部48个正确提案。此外，Qwen拒绝所有仅涉及福利的修复尝试，而Mistral则频繁进行此类操作。这表明审查者的行为不仅受规则约束，更受模型自身能力和接口设计的共同影响。 结论指出，受限审查并非在所有场景下都优于宽泛审查。真正的关键变量是审查者能力、行动接口和绑定管辖权的组合，它们共同决定了修正域和破坏面。这一发现要求从业者在设计多智能体系统时，不能假设某种审查架构具有普适性，必须针对具体模型进行验证和调优。事实部分基于两项本地运行开源模型的测试结果；推断部分强调模型差异导致的机制失效；猜测部分指出未来可能需要针对特定任务定制审查协议而非依赖通用规则。