跳到正文
原文
arXiv cs.CR· Jie Fu, Xiangpeng Deng, Yuan Hong, Wendy Hui Wang·· 4 小时前AI 评分68

论文提出时序成员推断攻击 TMIA 可识别样本在持续更新模型中的训练时间

Timing is Everything: Inferring Temporal Membership in Continually Updated Models

AI 摘要

该论文首次系统研究了持续更新深度学习模型中的时序隐私风险,正式定义了“时序成员”概念并提出了名为 TMIA 的黑盒攻击方法。TMIA 利用双向 LSTM 分析模型在连续更新过程中的输出,旨在推断单个样本是否参与过训练以及具体的训练时间点,覆盖时间戳级和时间区间级粒度。

实验在三个语言模型和三个图像分类模型上进行,结果显示 TMIA 显著优于现有基线方法。作者同时评估了三种潜在防御措施,揭示了隐私保护与模型效用之间的权衡关系。材料未提及具体攻击成功率数值或特定模型名称,仅确认了跨模态的有效性。

事实层面,该研究证实动态训练行为引入了新的隐私漏洞;推断层面,这意味着依赖静态数据分布假设的隐私防护机制可能失效,需重新考虑持续学习场景下的安全设计;猜测层面,若行业广泛采用增量更新策略,此类攻击可能成为针对生产环境模型的常规威胁,但具体影响范围取决于实际部署频率和模型类型。

来源:arXiv cs.CR · arxiv.org