联邦微调中的隐私泄露与数据投毒研究
先了解这件事
该报告针对在ImageNet预训练的MobileNetV4-Conv-Small模型上进行的头部分类器联邦微调(FedAvg)进行了隐私与完整性评估。研究发现,仅凭单次客户端更新,诚实但好奇的服务器即可恢复完整的私有标签集合,尽管重建图像与真实样本相似度较低(平均SSIM 0.130)。同时,基于单轮聚合的标签数量恢复率在客户端数量增加时反而下降,低于随机猜测水平。 在完整性方面,当30%、50%和100%的客户端注入后门时,攻击成功率(ASR)分别达到21.9%、31.3%和54.7%,而清洁准确率仅损失不超过0.8个百分点。相比之下,引入保留自集中微调根集的FLTrust机制可将30%和50%恶意客户端下的后门ASR降至1.8%和4.0%,并将标签翻转ASR从12.6%降至0.8%,且未造成可测量的清洁准确率损失,但该机制在全部客户端均为恶意的情况下无法提供保护。 事实层面,实验使用了Quick, Draw!数据集的十个类别,通过Indigma的FedMaestro编排器进行演示,代码可在Google Colab运行。推断表明,在联邦微调场景中,单纯依赖聚合梯度可能不足以抵御特定类型的隐私推断攻击,且防御策略的有效性高度依赖于非恶意客户端的比例。猜测的是,若在实际生产环境中恶意节点比例超过50%,现有基于根集的防御手段可能完全失效,需探索其他架构或信任假设。
摘自 arXiv cs.CR
报道时间线
沿着报道,了解事件的不同侧面。
- arXiv cs.CR联邦微调实验显示服务器可恢复完整私有标签集且后门攻击成功率随恶意客户端比例上升
该报告针对在ImageNet预训练的MobileNetV4-Conv-Small模型上进行的头部分类器联邦微调(FedAvg)进行了隐私与完整性评估。研究发现,仅凭单次客户端更新,诚实但好奇的服务器即可恢复完整的私有标签集合,尽管重建图像与真实样本相似度较低(平均SSIM 0.130)。同时,基于单轮聚合的标签数量恢复率在客户端数量增加时反而下降,低于随机猜测水平。 在完整性方面,当30%、50%和100%的客户端注入后门时,攻击成功率(ASR)分别达到21.9%、31.3%和54.7%,而清洁准确率仅损失不超过0.8个百分点。相比之下,引入保留自集中微调根集的FLTrust机制可将30%和50%恶意客户端下的后门ASR降至1.8%和4.0%,并将标签翻转ASR从12.6%降至0.8%,且未造成可测量的清洁准确率损失,但该机制在全部客户端均为恶意的情况下无法提供保护。 事实层面,实验使用了Quick, Draw!数据集的十个类别,通过Indigma的FedMaestro编排器进行演示,代码可在Google Colab运行。推断表明,在联邦微调场景中,单纯依赖聚合梯度可能不足以抵御特定类型的隐私推断攻击,且防御策略的有效性高度依赖于非恶意客户端的比例。猜测的是,若在实际生产环境中恶意节点比例超过50%,现有基于根集的防御手段可能完全失效,需探索其他架构或信任假设。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。