ProClaim-eval揭示外部证据优于上下文积累以验证科学共识

该研究针对科学智能体（Scientific Agents）的递归知识构建机制提出质疑，指出以往评估缺乏真值对照且无法分离设计变量。作者构建了包含 718 个带有 SUPPORT 和 REFUTE 金标标签的 ProClaim-eval 数据集，覆盖分子生物学、核物理和天文学领域，并开发了 ProClaim 工具以将证据状态持久化存储于模型上下文之外，从而独立考察“构建内容”与“停止控制”两个设计轴的影响。 实验结果显示，维持一个结构化的外部证据状态显著优于仅在上下文中累积信息，且存储的具体内容对性能至关重要。在停止策略上，经过训练的裁判读取证据状态的表现优于固定轮次停止；其中，一个从未接触过 ProClaim-eval 数据的独立训练裁判，在五个子集中的三个上达到了最高的金标一致性，其表现匹配了 Claude Sonnet~4.6 裁判，并优于 Claude Haiku~4.5。ProClaim 系统在验证系统中排名前三，显示出相对于通用 Agent 框架的显著优势。 事实层面，外部证据状态确实提升了科学共识验证的准确率，且独立训练的裁判具备泛化能力。推断层面，这暗示当前 Agent 架构若过度依赖上下文窗口进行中间状态管理，可能限制了其在长程复杂推理中的上限。猜测层面，这种架构迁移是否适用于非科学领域的复杂决策尚需验证，但为未来 Agent 设计提供了明确的工程方向：将记忆与推理解耦。