跳到正文
原文
arXiv cs.CR· Yuelin Han·· 3 小时前AI 评分72

论文指出LLM智能体防御中记忆比标签更能决定信封层的安全边界

The Envelope Layer: An Underestimated Surface of LLM Agent Defense

AI 摘要

该论文通过A2A-TIBA攻击测试与因子实验,重新定义了LLM智能体的“信封层”(envelope layer)安全边界,发现其并非由标签强度单一决定,而是标签声明、前端权限与历史记忆共同塑造的动态结果。

核心证据显示,当信封真实时强标签能降低语义违规率,但弱标签未必优于无标签基线;若信封可伪造,强标签的收益会减弱且方向随前端变化。最关键的是,记忆的影响远超任何标签操作:成功记忆提升违规率,失败记忆降低违规率,而包含两者经验的组合则回归无记忆基线。作者据此将信封层从单一准入通道细化为“准入通道加上下文组装表面”两个层级。

事实层面,本研究基于GDA测量方法与A/B/C/D分类体系,量化了标签强度、信封真实性及记忆状态对语义违规率的具体影响。推断层面,这意味着现有依赖静态标签过滤的防御机制在动态记忆场景下可能失效,需将上下文组装过程纳入安全评估。猜测层面,未来针对Agent的攻击可能会专门利用历史记忆进行对抗,而非单纯伪造信封内容。

来源:arXiv cs.CR · arxiv.org