DecompGym基准测试揭示LLM智能体分解算法设计失效模式
先了解这件事
2026年10月31日，研究发布DecompGym基准，包含9个家族共81个实例，用于评估12个模型构建Benders分解和列生成求解器的能力。测试要求求解器在60秒内完成、通过数值可行性与方法审计（由LLM法官审查），且目标函数误差小于1%。结果显示，首尝试中两个模型解决所有实例，七个模型解决率超90%，但失败案例揭示了深层机制问题。分析发现，部分模型在复杂约束处理上存在特定失效模式。
AI 根据报道生成 · 3 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- arXiv cs.AIDecompGym 基准测试显示当前大模型智能体在分解算法设计上存在特定失效模式
该研究发布 DecompGym 基准，包含来自九个问题家族的 81 个实例，用于评估 GPT、Claude 和 Gemini 等 12 个模型在构建 Benders 分解和列生成求解器时的表现。测试要求求解器必须在 60 秒内执行完成、通过数值可行性与方法审计（由 LLM 法官审查代码），且目标函数值误差在 1% 以内。结果显示，首尝试中两个模型能解决所有实例，七个模型解决率超过 90%，但失败案例揭示了深层机制问题。 分析发现，Benders 分解的主要失败原因是缺失或次优解（占 48/62），而列生成的最常见失败是方法审计被拒。更关键的是，仅靠输出检查本可接受 93/108 次被审计拒绝的尝试，说明错误往往在于求解逻辑而非最终结果。引入“最优性检查”（optimalif）作为反馈机制后，重试成功率从 39% 提升至 66%，且能有效修复审计失败，因为该机制能指出具体的缺陷缺口。 事实层面，当前编码 Agent 在简单任务上表现优异，但在需要多步逻辑验证的复杂优化算法设计中存在明显短板。推断表明，提升此类 Agent 的关键不在于增加生成次数，而在于引入针对求解路径的结构化验证与错误定位反馈。猜测认为，未来若要在自动化算法设计领域取得突破，必须将“如何到达答案”的中间过程纳入评估与训练闭环，而非仅关注最终输出是否满足约束。
本事件热度走势
当前热度 9·可比范围峰值 10（10月31日 13:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。