Soft-MTP 通过一行代码修正标准多 token 预测的梯度噪声并恢复 KL 蒸馏信号

作者发布关于多 token 预测（MTP）的新论文，指出当前前沿预训练中标准的 MTP 配方存在缺陷：其梯度隐藏了用于改进投机解码的 KL 自蒸馏信号，同时被有害的残差噪声所掩盖。该工作提出 Soft Multi-Token Prediction (Soft-MTP) 方法，声称能在不牺牲下一 token 预测性能的前提下提升 MTP 在各类任务中的表现。

核心创新在于一种名为 KL 梯度恢复的技巧，仅需一行代码修改即可提取被掩盖的梯度：h_ntp += h_mtp.detach() - h_mtp。这一机制旨在解决标准 MTP 中梯度方向冲突的问题，使模型能更有效地利用多 token 预测进行训练。材料提供了完整的代码库、arXiv 论文链接及 HuggingFace 集合页面作为验证依据。

事实层面，这是一项由研究者直接发布的算法改进方案，包含可复现的代码和理论推导。推断层面，该方法若有效，可能降低大模型推理阶段的延迟成本，因为投机解码的效率提升直接关联推理速度。猜测层面，目前尚无法确认该技巧在大规模商业模型上的实际收益是否足以抵消工程改造成本，且需观察社区对“免费午餐”说法的实证反馈。