StateWise 论文揭示 SFT 加剧大模型约束遗忘问题

该论文提出 StateWise 方法，旨在解决指令微调后的 LLM 在多轮对话中出现的约束持久性失效（active constraints stop being honored）和撤回后复发（withdrawn constraints keep being enacted）两大问题。与传统依赖外部账本（external ledger）在每轮重新注入规范不同，StateWise 让单个模型自我维护可修订的约束状态，通过类型化状态和墓碑机制记录已撤销的约束。 实验发现一个反直觉现象：在 Llama-3.1-8B 上，仅进行监督微调（SFT）的自我训练方案虽然能近乎完美地追踪状态，但反而使约束复发率翻倍。为了解决这一问题，作者引入了基于自生成对比的偏好学习阶段，将执行已撤销规则的响应作为负样本，通过通过往返检查的响应作为正样本进行优化。最终，该方法在两个骨干模型上将复发率降低了 8-22 个百分点，对话成功率提升了 8-19 个百分点，且在没有推理时辅助的情况下优于编译账本基线。 事实层面，该研究证明了单纯的状态追踪能力不足以保证约束遵守，甚至可能因过度拟合追踪任务而损害服从性。推断层面，这意味着当前主流的 SFT 范式在处理动态约束场景时存在结构性缺陷，必须结合偏好优化（如 DPO 或 PPO）来显式惩罚违反历史约束的行为。猜测层面，这种“追踪强、服从弱”的矛盾可能普遍存在于其他需要长程记忆的任务中，未来模型架构可能需要内建更复杂的约束管理模块而非依赖简单的上下文窗口。