显式推理导致代码生成中输出预算溢出

该研究针对相对较小的开源权重推理模型，实证分析了显式推理在代码生成中的实际风险：模型可能因过度消耗输出预算用于推理而导致无法生成可用代码，这种现象被定义为“推理轨迹溢出”。在七个模型和六个代码基准设置下，研究者测量了固定 32k token 输出预算中用于推理的比例及其对 pass@1 准确率的影响，发现推理的价值高度依赖具体场景。 数据显示，溢出在简单的函数级任务中罕见，但在更难的代码生成基准测试及特定模型家族中变得普遍；在某些模型与基准的组合中，超过一半的生成尝试耗尽了全部 32k token 预算却仍在进行推理。虽然最严重的溢出通常伴随重复的推理循环，但也存在大量非循环的长推理现象。实验表明，禁用推理对于容易溢出的模型具有竞争力，因为它能确保产出答案；同时，轻量级的推理时控制手段如预算转换（budgeted transitions）比提示词引导（prompt steering）更能直接减少溢出并提升性能与 Token 效率，尽管后者对部分模型有效但不一致。 事实层面，研究确认了溢出是特定模型在难任务下的常见现象，且可通过预算控制缓解。推断层面，这意味着在工程实践中不应将显式推理视为始终开启的能力，而应作为可调节的资源管理。猜测层面，若缺乏此类控制机制，盲目采用强推理模型处理复杂编码任务可能导致服务不可用或成本激增，但这需结合具体模型版本进一步验证。