LLM在USAMO 2025证明验证中仍存显著误差
先了解这件事
2026年10月28日，一项发表于arXiv cs.AI的研究针对大语言模型在奥林匹克数学证明验证上的能力进行了系统评估。研究团队构建了包含USAMO 2025候选解及专家评分的数据集，测试了跨前沿模型的现有验证器。结果显示，尽管模型在解题上表现优异，但在长推理链中逐条核查声明的验证环节仍存在巨大提升空间，当前主要依赖专家人工审核的模式难以规模化。为量化这一差距，研究提出了TROJAN迭代自我批判流程以改进验证效果。
AI 根据报道生成 · 1 天前更新
报道时间线
沿着报道，了解事件的不同侧面。
- arXiv cs.AIUSAMO 2025证明验证研究显示LLM仍存在显著误差且提出MABGrader改进方案
该论文针对大语言模型在解决竞赛级数学问题上的进展，系统评估了其在验证自然语言数学证明（特别是奥林匹克级别）方面的能力。研究团队构建了包含USAMO 2025候选解及专家评分的人工 curated 数据集，并对跨前沿模型的现有验证器进行了广泛测试。结果显示，尽管模型在解题上表现优异，但在长推理链中逐条核查声明的验证环节仍存在巨大提升空间，当前主要依赖专家人工审核的模式难以规模化。 为量化这一差距，研究提出了TROJAN迭代自我批判流程以大规模生成高保真对抗性证明，并设计了MABGrader多臂老虎机框架，将评分任务重新定义为离散分数空间中的臂选择问题。实验覆盖20个模型、七项指标、两种提示风格、三种推理方法及三种提示模板，结果表明MABGrader相比SOTA ProofGrader在二次加权Kappa指标上提升了26.4%，并将评分错误率降低了14%。文中明确区分了事实与推断：数据集构建和模型测试结果为事实，而MABGrader的机制优势是基于实验数据的推断，关于未来自动化验证普及程度的判断则属于基于当前结果的推测。 这一发现表明，LLM在数学推理的“生成”与“验证”之间存在不对称的能力边界，单纯依靠增加参数或微调难以弥合验证环节的误差。MABGrader通过改变评分决策的数学建模方式而非单纯优化提示词，证明了在特定垂直领域通过算法重构可显著提升可靠性。代码与数据集已公开，为后续研究提供了可复现的基准，但需注意该结果仅针对USAMO 2025特定难度层级，其泛化至其他数学分支或更复杂逻辑链条的效果仍需进一步验证。
本事件热度走势
当前热度 4·可比范围峰值 9（10月28日 14:00）·近 24 小时可比范围变化 -50%
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。