LLM-Attacker发布统一红队框架评估隐私

该论文提出 LLM-Attacker 框架，旨在解决拆分语言模型（Split LLM）和分布式系统中因攻击者观测对象、模型权重知识及数据集不同而导致的隐私评估结果难以比较的问题。框架通过记录评估过程中的关键选择，使攻击可复用、预测可独立评分，并强制要求任何防御措施必须基于已链接的无防御参考基准才能通过验证。 在受控的 GPT-2 实验中，研究人员发现训练过程中返回梯度会显著提升隐私泄露风险：Token 恢复率从 94.20% 升至 97.38%，精确文档恢复率从 13.71% 跃升至 37.77%，且增益区间明确超过预设的两个百分点阈值。此外，框架将实现检查与攻击有效性测量分开报告，并指出需进一步研究语料库选择和压缩防御对恢复效果的影响。 事实层面，该框架确立了新的评估标准，即每个隐私声明必须明确指定攻击者、数据集和评分规则，同时列出控制变量和未测试的攻击路径。推断层面，这意味着当前许多声称具备隐私保护的分布式系统可能因缺乏统一的基准对比而存在高估风险的情况。猜测层面，未来行业若采纳此标准，可能导致大量现有系统的隐私合规性证明失效，迫使企业重新设计数据交互协议以应对更严格的攻击面暴露测试。