arXiv cs.CR· Runze Zhao, Dongruo Zhou, Sumit Kumar Jha, Nathaniel D. Bastian, Ankit Shah·· 5 小时前AI 评分68
论文提出记忆鲁棒性新指标与单轮微调方案以应对LLM智能体记忆污染
Accept Changes, Reject Attacks: Robust Memory Management for LLM Agents
AI 摘要
该研究针对大语言模型智能体的长期记忆管理问题,指出现有系统无法同时处理过时事实与植入攻击导致的记忆中毒,且缺乏统一的写入规则。作者形式化定义了记忆鲁棒性,并引入证据条件准确率(ECA)作为评估指标,要求不仅答案正确,所选记录必须包含所有必要证据且未被篡改。实验显示,现有防御手段在测试集上并未优于未调优的管理器。
为提升鲁棒性,团队提出一种基于单一对话的简单位一步微调方案,通过在合成数据中插入变更与攻击进行训练。该方法在三个骨干模型上使各项类别得分全面超越基线,将整体ECA提升超过两倍,但结论明确承认鲁棒性尚未完全解决。文中强调准确性检查仅验证答案,而ECA机制强制校验证据链的完整性与时效性。
事实层面,ECA指标与单轮微调方法已在arXiv 2610.41056中通过合成数据验证;推断层面,该方案可能成为智能体记忆模块的标准加固路径;猜测层面,其泛化能力是否覆盖复杂多轮交互仍需后续实证。材料未提及具体商业落地或成本结构,仅聚焦算法机制与基准表现。
来源:arXiv cs.CR · arxiv.org