跳到正文
原文
arXiv cs.CR· Leixu Huang, Zedian Shao, Teodora Baluta·· 5 小时前AI 评分72

联邦学习中水印放射性可能与鲁棒性存在根本冲突

Watermark Robustness and Radioactivity May Be at Odds in Federated Learning

AI 摘要

该论文指出在联邦学习(FL)微调大语言模型时,尽管部分LLM水印表现出高放射性(radioactivity),即仅6.6%的水印数据即可使信号在微调后保持可检测(p值达10^-24),但服务器作为主动攻击者可通过强鲁棒聚合过滤掉这些被视为离群点的更新,从而彻底消除水印信号并保留模型效用。

实验证据显示,来自水印合成数据的更新相对于干净更新呈现为离群点,攻击者利用这一特征应用强鲁棒聚合策略进行过滤。所有被评估的放射性水印在面对此类针对服务器的对抗行为时均不具鲁棒性,这直接证明了当前水印机制在分布式协作环境下的脆弱性。

事实层面,研究确认了放射性水印在特定比例数据下的可检测性;推断层面,这意味着依赖单一水印技术进行跨源数据溯源的方案在存在恶意或防御性聚合的联邦场景中可能失效;猜测层面,未来设计需重新权衡放射性、鲁棒性与效用三者关系,单纯追求高放射性可能无法解决实际部署中的对抗问题。

来源:arXiv cs.CR · arxiv.org