跳到正文
原文
arXiv cs.CR· Pedro H. Barcha Correia, Matheus Azevedo de S\'a, Paulo H. Gomes de Senna, Giovanni Mandel Martignago, Victor Takashi Hayashi, Charles Christian Miers, Marcos A. Simplicio Jr·· 4 小时前精选AI 评分87

论文指出结合长时记忆与大模型会导致提示词注入演变为持久化妥协风险

Combining Long-Term Memory and LLMs Comes at a High Cost: From Prompt Injection to Persistent Compromise

AI 导读

该研究提出通用威胁模型,证明ChatGPT Instant 5.3、Claude Sonnet 4.6和Gemini 3 Flash均存在通过持久化记忆进行跨会话攻击的漏洞。研究人员发现,恶意指令可嵌入个人记忆、项目、技能、组织指令及MCP连接资源中,导致信息污染、有害内容生成或模拟离线无响应,甚至能在新鲜会话中持续传播。

具体证据显示,在Claude共享记忆场景下,攻击者可利用此机制同时 compromise 组织内多个用户并窃取用户提示词。研究团队验证了所有NIST攻击目标均可在该模型下达成,但分析表明针对此类内存注入的缓解措施中,近一半尚未在目标服务中实施。

事实层面确认了长时记忆架构引入了新的攻击向量;推断层面认为现有安全边界已无法覆盖跨会话状态;猜测层面需关注未来平台是否会在默认配置中启用相关防护。产业链需重新评估RAG与Agent框架中的信任假设,特别是涉及MCP协议时的数据隔离机制。

推荐理由

揭示长时记忆功能将单会话注入升级为跨会话持久化攻击,且近半数防御机制在主流服务中未实现。

来源:arXiv cs.CR · arxiv.org