S1CogBench发布评估System One模型认知表现与不可靠性

arXiv 论文 S1CogBench 引入首个针对系统一（System One）决策模型的认知实验基准，评估 Jev、Laya 等五款开源模型及特定闭源模型在 24 项任务上的表现。研究发现这些模型虽能输出快速且格式正确的决策，但其可靠性差异巨大，且“表现良好”并不等同于能像人类一样响应证据、反馈或记忆负荷的变化。 核心证据显示，现有认知基准多针对语言和多模态生成模型，而系统一模型通过直接返回单一决策选项（如路由、护栏判断）来规避文本生成，其速度提升主要源于省略了生成过程而非真正的推理优化。论文通过控制变量测试发现，聚合分数掩盖了模型在不同条件（如未来机会、记忆负载）下的行为波动，部分模型在条件变化时无法调整决策策略，显示出对证据的依赖度极低。 事实层面，该基准提供了共享测试以验证决策是否真正响应外部信号；推断层面，这意味着当前软件中广泛使用的自动化门控和路由机制可能缺乏鲁棒性，仅凭输出速度无法证明其具备类人认知能力；猜测层面，若行业继续忽视此类非生成式决策的评估，可能导致 AI Agent 在复杂场景下出现系统性失效。