arXiv cs.CL· Mohamed Shaaban, Mohamed Elmahallawy·· 5 小时前AI 评分65
JEPA-Prune通过联合嵌入引导剪枝降低微调LLM的私有数据泄露风险
Prune the Leaky Neurons: Mitigating Private Data Leakage in Fine-Tuned LLMs via Joint-Embedding-Guided Pruning
AI 摘要
该论文提出JEPA-Prune框架，旨在解决微调大语言模型时面临的私有数据（如PII）泄露与效用保持之间的平衡难题。该方法在微调后的私有模型旁，利用相同记录的代理和掩码视图训练一个仅基于无PII视图的公共模型，通过联合嵌入预测架构（JEPA）捕获领域知识而不包含标识符。随后利用跨模型表示探针量化泄露记录的私有表示与该无PII参考之间的偏差，结合集成梯度和尺度不变特异性评分识别对PII敏感的神经元并直接剪除，无需重新训练。
实验数据显示，仅剪除1.6%的神经元即可将PII推断准确率降低高达7.4倍，提取召回率降低高达13.9倍，同时对于大多数LLM，未见文本的困惑度保持在未剪枝模型的16%以内。相比之下，现有的隐私神经元编辑方法会导致困惑度至少增加26倍。这一结果证明了该方法在保留模型通用能力的同时，能显著削弱模型对特定私有数据的记忆能力。
事实层面，该研究验证了基于无标识参考模型的对比剪枝机制的有效性；推断层面，这种后处理剪枝策略可能成为微调模型合规部署的标准前置步骤，替代传统的数据清洗或差分隐私方案以减少性能损失；猜测层面，该方法是否适用于多模态模型或超大规模参数量的模型仍需进一步验证，且其对抗性攻击下的鲁棒性尚未在文中讨论。
来源：arXiv cs.CL · arxiv.org