跳到正文
原文
arXiv cs.CR· Qian Ma, Chen Wu, Prasenjit Mitra, Sencun Zhu·· 5 小时前精选AI 评分78

论文指出知识蒸馏中污染数据可使清洁教师产生后门学生模型

How to Backdoor Image Knowledge Distillation

AI 导读

该研究挑战了“清洁教师模型能天然防御后门攻击”的假设,证明即使教师模型本身未被污染,仅通过投毒蒸馏数据集即可使小模型(学生)习得后门。攻击者注入带有触发器的操纵图像,这些图像在清洁教师中已被预测为攻击者指定的目标标签,导致学生在匹配教师输出时被动学习并固化该后门行为。

实验评估覆盖了多种操纵策略,包括定向对抗扰动和基于 GAN 的类别转换,结果显示即使在 10% 的投毒率下,攻击依然有效。关键事实是:学生模型在保持与清洁图像上具有竞争力的性能同时,对触发器表现出高成功率的后门激活。这直接证明了蒸馏数据的完整性和来源验证是数据密集型蒸馏管道安全边界的关键组成部分,而非仅依赖教师模型的纯净度。

推断表明,当前广泛使用的蒸馏流程若缺乏对训练数据源的严格审计,可能成为隐蔽的攻击向量。猜测部分在于,这种攻击是否会被大规模用于针对特定垂直领域的轻量化模型部署,但现有材料未提供具体商业案例或规模化应用证据。结论明确区分了事实(数据污染导致后门)、推断(需加强数据溯源)与猜测(未来攻击规模)。

推荐理由

揭示蒸馏数据污染可绕过教师模型信任假设,需将数据溯源纳入安全边界。

来源:arXiv cs.CR · arxiv.org