SciPiVot 基准测试显示前沿模型在科研决策中表现低于随机水平

arXiv 发布的 SciPiVot 基准测试针对 LLM 智能体在关键科研时刻的判断力进行了评估，结果显示四个主流前沿模型在特定任务上的准确率低于随机猜测水平。该基准基于六个月内六位研究人员在六个科学领域运行 26 个项目时的人工干预记录构建，包含 248 个案例，要求模型在原始 LLM 计划与人工修正方案之间做出选择。

核心证据显示，在中度推理努力下且拥有项目记录上下文时，所有被测试模型均系统性地倾向于选择原始的 LLM 计划而非人工修正的替代方案。即便提供了人类修正的备选答案，前沿模型在这些选定的科研决策上依然难以胜任。具体数据方面，在所有测试模型和推理努力设置中，项目条件下的最高准确率为 63.5%，而新鲜研究人员（fresh researchers）的准确率为 73.4%。更值得注意的是，在中度推理努力下，拥有项目记录的模型表现反而比没有记录时更低，且重新思考机制并未一致地提升整体准确率。

这一发现表明，当前 LLM 智能体在处理需要结合复杂历史背景进行批判性修正的科研任务时，其推理机制存在根本性缺陷，即过度依赖初始生成的路径规划。事实层面确认了模型在特定基准下的低准确率；推断层面意味着现有的 Agent 框架若缺乏强有力的人类反馈闭环，难以独立承担长周期的科研实验；猜测层面则指向未来可能需要重构模型的决策逻辑或引入更深层的验证机制，而非单纯增加推理 token 数量。