System1-Arena 基准测试揭示 System-1 模型在决策任务中的能力边界与成本效率

该论文发布 System1-Arena 基准，包含来自268个公开源的9.2万个问题及105项任务，涵盖文本分类、应用决策、评估控制及智能体行动四类场景，并集成138个闭环环境以模拟实时演化的世界。测试覆盖7个闭源大语言模型、13个开源模型及10个System-1模型，旨在区分哪些决策可由单次前向传播的System-1模型处理，哪些必须依赖生成式推理步骤。

实证数据显示，最大的System-1模型在非智能体任务的准确率上可匹配甚至超越快速闭源大语言模型，且概率校准度更优，延迟仅为后者的四分之一；然而，在闭环环境中，大型开源模型成功率最高可达32.9%，小型System-1模型则极少成功。作为对比，具备推理能力的大语言模型虽然准确率最高，但其成本约为快速大语言模型的70倍。

事实层面，System-1模型在静态或简单动态决策中具备显著的成本优势，但在需要复杂交互的闭环场景中表现受限；推断表明，当前架构下单纯依靠概率输出的System-1难以独立胜任高复杂度智能体任务，需结合推理机制；猜测部分认为，未来产品若追求单位经济效率，可能在低风险环节优先采用System-1，而高风险或长链路任务仍保留推理模型，但具体混合架构的落地效果尚待更多数据验证。