OP-Print框架揭示在线策略自蒸馏隐私风险

该论文首次针对在线策略自蒸馏（on-policy self-distillation）提出成员推断攻击框架 OP-Print，指出这种无需外部教师的蒸馏方式因使用自身输出作为监督信号，可能强化模型对训练数据的记忆，从而引发隐私泄露风险。 研究发现，自蒸馏中的监督印记具有稀疏性和结构化特征，集中在对不确定性敏感的修正位置而非整个生成过程。基于此，作者在灰盒和黑盒两种威胁模型下构建了差异化攻击信号：灰盒场景直接聚合教师 - 学生残差修正，黑盒场景则通过重启输出的基座稳定性作为隐藏修正过程的代理指标。实验显示，在多种模型和蒸馏方案下，传统基线攻击在灰盒访问时仍接近随机猜测水平，而 OP-Print 在两类设置中均被验证有效。 事实层面，该研究确认了自蒸馏机制中存在可被利用的隐私漏洞；推断层面，这意味着当前广泛采用的“去教师化”蒸馏方案在隐私保护上可能存在系统性盲区；猜测层面，若行业继续大规模部署此类方法而未引入针对性防御，可能导致训练数据被逆向推断。作者未提及具体模型参数量或数据集名称，仅强调跨多样性验证的有效性。