DUP 框架通过检测引导的遗忘机制实现语言模型后门净化且无需外部干净模型

DUP（Detection-guided Unlearning for Purification）是一个将后门检测与基于遗忘的净化整合的统一框架，旨在解决现有防御策略在应对隐蔽且鲁棒的后门攻击时的不足。该框架的核心创新在于利用参数高效的遗忘机制进行模型净化，既避免了全量重训练，也完全不需要任何额外的干净模型作为参考。

在技术实现上，检测器通过联合利用类别无关距离和层间转换来捕获特征级的异常，并通过加权方案整合这些偏差以识别中毒输入，从而实现更细粒度的分析。随后的净化过程创新性地将知识蒸馏重新定向：指导学生模型在检测到中毒样本时增加与教师模型的输出发散度，从而强制模型“遗忘”后门行为。实验表明，该方法在不同攻击方法和语言模型架构下均实现了优越的检测准确率和净化效果。

事实层面，该论文提出了 DUP 框架并开源了代码，验证了其在特定场景下的有效性。推断层面，这种无需外部干净模型的方法可能降低防御门槛，使中小规模团队也能实施有效的后门清洗。猜测层面，该方法是否能在大规模商业部署中保持实时性及其对正常推理性能的长期影响仍需更多工程实践验证。