AfterDeleteBench 测试显示 Qwen2.5-7B 等模型在删除秘密后仍可通过衍生记忆恢复信息

该论文提出 AfterDeleteBench 基准，用于审计固定权重 LLM 智能体在删除外部持久化记忆后的信息残留问题。研究发现，仅删除原始记录并不足以消除由其衍生的状态（如摘要），导致智能体仍能通过单次查询恢复已删除的秘密。在主要测试设置中，Qwen2.5-7B-Instruct 模型在约三分之二的案例中成功恢复了被删除的秘密，而从未接触过该秘密的对照组则完全无法恢复。

实验进一步证实，这种恢复不需要保留完整的原文副本；当秘密字符串被拆分存储且遵循公开组合规则时，Qwen、Mistral 和 Phi-3 模型在 62% 至 99% 的案例中仍能精确重构信息。此外，响应接口本身也是测量系统的一部分，若请求格式与解析器未对齐，目标回复可被判定为失败。研究还区分了重构、写回和新建会话回忆，指出源感知关闭（provenance-aware closure）能消除观察到的恢复现象，而字面写入过滤器虽能阻止重新插入，却无法擦除已存在的信息。

事实层面，该研究证明了现有删除机制在智能体记忆系统中的失效，特别是在涉及衍生状态和组件重组的场景下。推断层面，这意味着当前的 AI 安全合规不能仅依赖数据库层面的删除操作，必须将评估标准提升至智能体整体行为层面。猜测层面，未来针对 Agent 的安全审计可能需要引入更复杂的溯源追踪机制，以应对非显式存储但逻辑上存在的记忆残留风险。