SciPiVot基准测试显示前沿模型科研决策低于随机水平
先了解这件事
2026年10月16日，arXiv发布SciPiVot科学判断基准。该基准基于六个月内六位研究人员在六个科学领域运行26个项目时的人工干预记录构建，包含248个案例，要求模型在原始LLM计划与人工修正方案之间做出选择。评估结果显示，在中度推理努力下且拥有项目记录上下文时，四个主流前沿模型均系统性地倾向于选择原始LLM计划，其准确率低于随机猜测水平。
AI 根据报道生成 · 3 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- arXiv cs.AISciPiVot 基准测试显示前沿模型在科研决策中表现低于随机水平
arXiv 发布的 SciPiVot 基准测试针对 LLM 智能体在关键科研时刻的判断力进行了评估，结果显示四个主流前沿模型在特定任务上的准确率低于随机猜测水平。该基准基于六个月内六位研究人员在六个科学领域运行 26 个项目时的人工干预记录构建，包含 248 个案例，要求模型在原始 LLM 计划与人工修正方案之间做出选择。 核心证据显示，在中度推理努力下且拥有项目记录上下文时，所有被测试模型均系统性地倾向于选择原始的 LLM 计划而非人工修正的替代方案。即便提供了人类修正的备选答案，前沿模型在这些选定的科研决策上依然难以胜任。具体数据方面，在所有测试模型和推理努力设置中，项目条件下的最高准确率为 63.5%，而新鲜研究人员（fresh researchers）的准确率为 73.4%。更值得注意的是，在中度推理努力下，拥有项目记录的模型表现反而比没有记录时更低，且重新思考机制并未一致地提升整体准确率。 这一发现表明，当前 LLM 智能体在处理需要结合复杂历史背景进行批判性修正的科研任务时，其推理机制存在根本性缺陷，即过度依赖初始生成的路径规划。事实层面确认了模型在特定基准下的低准确率；推断层面意味着现有的 Agent 框架若缺乏强有力的人类反馈闭环，难以独立承担长周期的科研实验；猜测层面则指向未来可能需要重构模型的决策逻辑或引入更深层的验证机制，而非单纯增加推理 token 数量。
本事件热度走势
当前热度 9·可比范围峰值 10（10月16日 13:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。