Catastrophic Overfitting is Weight Drift the Training Loss Cannot See 论文揭示快速对抗训练中的权重漂移与修复

该论文指出快速对抗训练（FAT）中常见的灾难性过拟合（CO）现象并非模型性能突然崩溃，而是权重发生了一种训练损失无法察觉的静默漂移。在事件发生过程中，网络的清洁行为看似持续改善，但权重从漂移前到漂移后的变化仅对训练目标产生微小影响，却导致多步攻击下的鲁棒性归零。由于训练目标几乎“看不见”这种位移，因此无法施加力将其拉回，导致鲁棒性彻底丧失。

作者通过实验发现，FAT协议中已维护的指数移动平均（EMA）权重不会累积这种漂移，能够全程保持鲁棒性。基于此观察，论文提出一个近乎免费的修复策略：当验证集鲁棒性下降时，将权重重置为EMA版本。该方法被构建在一个耦合基础方法之上，确保平均值始终位于鲁棒区域内。在所有测试运行中，该方案完全消除了CO现象，并在CIFAR-100等三个基准数据集上取得了最快的AutoAttack准确率，且以约一半的成本超越了多步参考方法的性能。

事实层面，论文确认了CO是权重漂移而非梯度消失或优化失败；推断层面，EMA重置可作为通用防御手段直接集成到现有FAT流程中；猜测层面，该机制是否适用于其他非FAT的快速训练变体仍需进一步验证。代码已开源，可供复现与工程落地。