DecompGym 基准测试显示当前大模型智能体在分解算法设计上存在特定失效模式

该研究发布 DecompGym 基准，包含来自九个问题家族的 81 个实例，用于评估 GPT、Claude 和 Gemini 等 12 个模型在构建 Benders 分解和列生成求解器时的表现。测试要求求解器必须在 60 秒内执行完成、通过数值可行性与方法审计（由 LLM 法官审查代码），且目标函数值误差在 1% 以内。结果显示，首尝试中两个模型能解决所有实例，七个模型解决率超过 90%，但失败案例揭示了深层机制问题。

分析发现，Benders 分解的主要失败原因是缺失或次优解（占 48/62），而列生成的最常见失败是方法审计被拒。更关键的是，仅靠输出检查本可接受 93/108 次被审计拒绝的尝试，说明错误往往在于求解逻辑而非最终结果。引入“最优性检查”（optimalif）作为反馈机制后，重试成功率从 39% 提升至 66%，且能有效修复审计失败，因为该机制能指出具体的缺陷缺口。

事实层面，当前编码 Agent 在简单任务上表现优异，但在需要多步逻辑验证的复杂优化算法设计中存在明显短板。推断表明，提升此类 Agent 的关键不在于增加生成次数，而在于引入针对求解路径的结构化验证与错误定位反馈。猜测认为，未来若要在自动化算法设计领域取得突破，必须将“如何到达答案”的中间过程纳入评估与训练闭环，而非仅关注最终输出是否满足约束。