论文提出审计性遗忘框架使 LLM 数据删除具备可验证证据但保留性能仍存差距

该研究将机器遗忘（Machine unlearning）的评估标准从三项扩展为四项，新增“审计性”轴心，即要求提供者能向用户证明数据删除确实发生。作者在 TOFU、MUSE 和 RWKU 三个数据集上测试了十一种现有遗忘方法，发现没有任何一种方法能同时满足遗忘效果、能力保留、抗成员推断攻击以及提供删除证据这四个维度。

为解决这一缺口，作者提出了两阶段增强方案：第一阶段 GapWiden 利用 hinge loss 拉大遗忘集与保留集在审计统计量上的差异；第二阶段 GapVeil 作为推理时的拒绝采样器，以基座模型为草稿生成器，根据审计统计量对生成的响应进行重采样。实验显示，结合该方法后，所有被测试方法的审计性和泄露水平均达到理想基准（oracle parity），遗忘性能也收敛至理想状态，但九种方法的保留性能虽有提升仍未达到理想基准。

事实层面，该工作证明了通过设计可以构建删除证据，且将其作为显式需求会改变现有遗忘方法的可行性。推断层面，这意味着当前工业界依赖的遗忘技术若缺乏审计机制，可能无法满足合规或信任需求。猜测层面，这种两阶段架构是否会增加推理延迟或成本，以及其在大规模商业场景中的落地难度，原文未予披露。