偏好优化引发词汇坍塌机制研究

这篇 arXiv 论文提出 ECHO 框架，发现偏好优化（如 DPO、SimPO）在提升所有排序指标的同时，会在模型隐藏状态中构建一个共享的“共同模式偏移”，这种偏移因相对损失难以察觉而不断累积，最终导致生成崩溃。该偏移表现为跨 token 位置、提示词及选择/拒绝响应的方向性漂移，当它投影到输出层时会形成“词汇井”，使单个 token 概率被过度抬高并主导解码过程。 实证数据显示，在研究的每 token 排序损失设置下，17 个基础模型谱系中有 14 个出现了相同的坍塌现象；即使在全参数微调下，基于 Llama-2 和 Llama-3.1 的 SimPO 训练也会驱动偏移进入坍塌状态。作者通过隔离该偏移注入未处理的基础模型成功复现了坍塌，且仅用官方 SimPO 配方从公开 SFT checkpoint 训练时，偏移同样增长但未形成词汇井。此外，在 17 个 UltraFeedback 运行中，排名越高的运行反而越少被两个公共奖励模型偏好，暴露了标准排序指标的盲区。 事实层面，该研究确认了偏好优化中存在一种可被表示层信号预警的生成风险机制；推断层面，这意味着当前主流对齐方法可能正在积累隐性退化，需引入新的监控维度；猜测层面，若不及时修正，大规模部署的模型可能在特定场景下出现不可逆的生成失效。