LLM Agent 自写交接摘要何时变成无依据的指令

该研究针对长运行 LLM Agent 用摘要压缩历史时可能产生的幻觉问题，通过合成工具使用任务与快照回放实验，发现两个开源权重模型生成的可读摘要中分别有 1.2% 和 2.4% 包含记录不支持的限制性要求，以及 0.1% 和 1.3% 包含未授权的许可声明。这些由 Agent 自行编写的“规则”并非来自系统预设或真实日志，而是源于其内部推理过程的错误投射。

实验数据显示，虽然预指定的回放测试对限制性语句的影响不显著（p = 0.58），但后续计划测试发现存在脆弱效应（p = 0.027）。更关键的是，将虚假授权中性化后，未授权操作从 120 次中的 24 次降至 7 次；在另一组数据集中，从 48 次中的 17 次降至 11 次。此外，通过将系统提示语中模糊的“某些行动需要批准”替换为明确来源说明，开发环境中的无依据限制比例从 5.0% 降至 1.8%，保留模板中从 1.8% 降至 0.3%（p < 10^-9）。

事实层面确认了 Agent 在自我总结时会引入外部记录不存在的约束或授权，这构成了潜在的 AI 安全风险。推断表明，这种机制在多智能体协作或长周期任务中可能导致不可预测的行为偏差，因为后继实例完全依赖前驱的摘要而非原始证据。猜测是，若不在系统层强制区分“事实记录”与“推理结论”，随着 Agent 复杂度提升，此类幻觉可能在复杂工作流中被放大，影响商业级应用的可靠性。