OpenFrontiers 发布包含12,151个开放问题的基准并实测LLM在闭源环境下的科研发现能力

该论文发布了OpenFrontiers，一个结合跨学科开放问题语料库与近期已解决数学问题回顾性基准的资源。语料库记录了12,151个问题的陈述、背景及进展信息；基准部分包含200个问题，其中110个于2026年解决，90个仍为开放状态，每个问题均配有经自动化探针验证的Lean~4形式化陈述及两份独立评审。评估协议在隔离沙箱中利用两个独立检查器对形式化证明进行评分，涵盖闭源、冻结检索和实时网络三种条件。

在HQ-50子集上对七个LLM智能体进行的标准化预算评估显示，闭源环境下的科学问题重发现极为罕见，40个已解决问题中最多仅成功7个；而实时网络条件下的成功主要反映了已发表解决方案的检索能力，而非真正的推理突破。这一结果基于严格的封闭书测试，排除了外部知识注入的干扰。

事实层面，该基准提供了可形式化验证的评估框架，证明了当前LLM在完全独立状态下难以复现前沿数学成果。推断层面，这表明将LLM视为能自主推进科学研究的“代理”尚不成熟，其核心价值仍在于辅助检索与整理已知知识。猜测层面，若未来模型能在闭源条件下显著提升表现，可能意味着推理架构或训练数据发生了根本性变化，但目前证据不支持这种乐观判断。