NeurIPS 2026 论文发现大模型在正常输出中无意泄露敏感上下文信息

该研究指出，当敏感用户数据（如日历、凭证、健康记录）存在于语言模型的上下文窗口时，即使模型正确拒绝了直接提取请求，其良性输出中仍会包含可被重构的隐藏相关性。作者在八个专有模型上的受控实验显示，两位数的上下文秘密几乎可以完美重构，四位数的秘密精确匹配率达到82%，且这些泄露发生在普通非对抗性请求的响应中。

研究发现更强的指令遵循能力反而放大了对上下文中秘密的敏感度，表明这种泄露是能力的副产品而非可修补的漏洞。基于此现象，作者展示了两种实际攻击：一是训练分类器从常规自然语言输出中推断关于用户记忆的语义谓词（如健康状况或财务事件），二是利用强化学习训练的对抗者从生产风格的Agent中提取完整的社会保障号码。

事实层面，该论文已获NeurIPS 2026录用，验证了黑盒访问下的自适应攻击有效性；推断层面，这意味着单纯依靠模型拒绝回答来保护隐私是不够的，必须重新审视Agent架构中的上下文隔离与输出过滤机制；猜测层面，随着Agent处理更多长期记忆和敏感数据，此类无意泄露可能成为未来合规审计中的主要风险点，但具体缓解方案仍需进一步工程实践验证。