跳到正文
原文
arXiv cs.CR· Pritom Bhowmik·· 6 小时前AI 评分72

LLM Agent 内存投毒防御在良性流量下产生 token 开销并降低核心准确率

The Price of Safety: Benign-Case Utility and Token Overhead of Memory-Poisoning Defenses in LLM Agents

AI 摘要

该研究通过固定后端、检索与评估框架的对照实验,发现针对 LLM Agent 的内存投毒防御机制在几乎全为良性流量的实际场景中会产生显著隐性成本。测试覆盖四种防御策略,结果显示写时防御(清洗、溯源检查、LLM 异常检测)在良性流量中从未触发且未造成可测精度损失,而读时重排序器虽仅增加 2.7% 的 token 开销,却因误判导致 45% 的问题被拒绝提供记忆支持,进而使核心准确率下降 4.4 个点。

实验细节显示,当堆叠全部四种防御时,token 总开销升至 4.1%,但并未叠加精度损失;然而盲审发现,重排序器丢弃记忆的决策中仅有 2/50 能找到基于内容的合理依据。这表明当前防御逻辑过度依赖上下文消耗而非内容实质,且攻击成功率指标无法反映此类良性环境下的性能折损。作者强调成本主要取决于各防御机制的判断行为与上下文用量,而非是否调用 LLM。

事实层面,本研究证实了特定防御架构在零攻击假设下的具体数值代价;推断层面,这意味着高安全标准的 Agent 系统若不加区分地堆叠防御,可能因 token 成本上升和响应率下降而损害商业可行性;猜测层面,未来行业可能需要重新定义安全基准,将良性流量下的效用保留率纳入核心评估体系,否则现有安全方案的实际部署成本将被严重低估。

来源:arXiv cs.CR · arxiv.org