arXiv cs.CR· Anand Agrawal, Anil Kumar Chillara, Naresh Mandan·· 7 小时前AI 评分70
论文指出BatchNorm状态可在权重不变时伪造边缘分裂学习中的数据删除信号
Phantom Forgetting: How BatchNorm State Fakes Deletion in Edge Split Machine Unlearning
AI 摘要
该研究在边缘分裂学习架构中发现,即使所有可训练权重保持固定,仅通过重新校准Batch Normalization(BN)的运行统计量,也能显著降低模型对特定遗忘数据的准确率,从而制造出“已删除”的假象。这一现象被称为Phantom Forgetting,表明分布式归一化缓冲区本身构成了与安全和隐私相关的推理状态,而非仅仅是辅助计算组件。
实验基于CIFAR-10数据集的十个遗忘类别展开量化分析:在集中式设置下,仅对遗忘数据进行BN重校准且零权重变化,使平均遗忘准确率下降61.50个百分点;在分裂模型中,仅在边缘端、仅在服务器端以及两端联合进行重校准,分别导致平均准确率下降37.27、41.71和51.90个百分点。研究进一步引入状态诱导遗忘差距(SIFG)指标以剔除保留集性能退化的干扰,结果显示服务器端状态产生的选择性遗忘差距最大,而联合重校准引发的整体预测变化最剧烈。
事实层面,该工作证明了非可学习参数(BN统计量)在边缘设备受数据漂移、空中更新或检查点回滚等场景下的不稳定性,足以被利用来操纵遗忘评估结果。推断层面,这意味着当前依赖遗忘集准确率作为删除证书的通用做法存在严重漏洞,特别是在涉及边缘设备的系统中。猜测层面,若未显式执行边缘感知的状态完整性审计,任何声称符合“被遗忘权”要求的系统都可能只是掩盖了数据残留,而非真正实现了删除。
来源:arXiv cs.CR · arxiv.org