语言模型在任务组合下存在隐式预算限制

该研究指出，现代大语言模型在处理单提示词中的多个任务时，即使能独立解决每个子任务，组合后的错误率仍显著上升。这种性能下降无法单纯用独立误差累积解释，核心原因在于模型在任务组合场景下会触发隐式的思考预算限制，导致每个任务获得的生成 token 数量大幅减少。 实验覆盖开源权重模型及 Claude Opus 5，数据显示在组合模式下，即便总序列长度远未超出上下文窗口，模型对任务的 token 分配也明显少于独立运行时。依赖长推理链的任务在组合情境下表现出更高的脆弱性（fragility），即更容易出错；而原本非脆弱任务在独立运行时往往存在过度推理和算力浪费现象。研究团队提出一种基于任务脆弱性分组的策略，通过重新编排任务顺序来操纵这种隐式预算分配。 这一发现对 Agent 框架设计和推理工程具有直接指导意义：事实层面确认了组合任务下的 token 分配不均机制；推断层面表明通过任务聚类排序可在保持精度的同时节省约 43% 的 Token 消耗；猜测层面认为这可能是模型内部资源调度的一种通用启发式行为，而非特定模型的缺陷。该结论为优化多步推理流程提供了新的理论视角，即通过显式控制任务组合顺序来缓解隐式预算约束带来的精度损失。