跳到正文
原文
arXiv cs.CR· Peiyang Liu, Xi Wang, Di Liang, Youru Li, Zhi Cai, Wei Ye·· 6 小时前AI 评分75

RAG 防护研究缺乏统一评估标准且静态防御难以阻断自适应隐私提取

Protection Is Not One Event: A Survey of RAG Protection Research by Measured Endpoint

AI 摘要

这篇论文对 118 篇经全文确认的 RAG 防御研究进行了系统综述,指出该领域因评估指标、数据集和威胁模型不兼容而缺乏可比性。作者提出按“测量端点”而非声称目标或防御机制进行分类的七类 taxonomy,涵盖内容披露、形式化隐私代理、访问控制等维度,并发现现有研究存在显著偏差:仅 17.8% 的研究以内容披露或重构为主要端点,而在版权/所有权关系固定的标签下,73.3% 的记录将语料使用检测作为主要端点,没有任何研究以生成表达(emitted-expression)为端点。

实证测试显示,防止逐字复制并不能阻止私有事实恢复。在 Qwen3-8B 模型上,归一化的 8-gram 守卫虽能将 20-token 的复制降至 0.0%,但面对三查询的自适应攻击者,仍能恢复 48.3% 的隐藏事实。这表明大多数评估依赖通用问答数据集和非自适应攻击,未能反映敏感数据和多轮提取的真实风险。

事实层面,该研究建立了包含分类法、数据集、编码协议和测试床的开源资源;推断层面,当前 RAG 安全评估体系可能高估了实际防护能力,导致产品部署时忽视动态攻击面;猜测层面,未来若行业转向以隐私泄露为优先指标的评估,将迫使防御机制从静态过滤向动态对抗训练迁移。

来源:arXiv cs.CR · arxiv.org