跳到正文
原文
arXiv cs.CR· Quan Minh Nguyen, Min-Seon Kim, Hoang M. Ngo, Trong Nghia Hoang, Hyuk-Yoon Kwon, My T. Thai·· 2 小时前AI 评分72

论文提出针对联邦提示微调的 PromptMIA 攻击方法并证明现有防御无效

Leveraging Soft Prompts for Privacy Attacks in Federated Prompt Tuning

AI 摘要

该研究指出在联邦学习向联邦微调迁移的背景下,基于轻量级输入前缀的联邦提示微调(federated prompt-tuning)引入了新的隐私泄露风险。作者提出了名为 PromptMIA 的成员推断攻击(Membership Inference Attack),其核心机制是恶意服务器引入对抗性构造的软提示词(soft prompts),并利用这些提示词在协同训练过程中的更新情况,判断特定数据点是否属于某客户端的私有数据集。

实验表明,PromptMIA 在多个基准数据集上均能保持高攻击优势,显著优于当前最先进的联邦成员推断攻击方法。论文通过形式化的安全博弈模型解释了这一现象,并给出了攻击优势的理论下界。关键事实在于,研究验证了现有的成员推断防御机制在面对这种针对提示微调的攻击时往往失效,这直接指向了当前安全方案在适配新范式时的不足。

从技术演进角度看,当大模型采用提示微调而非全量参数微调进行分布式训练时,攻击面从模型权重转移到了提示向量空间。这意味着传统的基于权重更新的防御策略可能不再适用。推断结论是,未来联邦微调系统的安全设计必须专门针对提示词更新机制构建防御,而非沿用旧有框架。猜测部分认为,随着提示微调成为主流,此类针对提示词的定向攻击可能会在短期内成为行业研究的重点,但具体防御方案的落地效果仍需后续实证。

来源:arXiv cs.CR · arxiv.org