arXiv cs.AI· Shijue Huang, Hangyu Guo, Hengheng Zhang, Guo An, Zhitao He, Qi Tian, Yiren Feng·· 4 小时前AI 评分55
ReScopeBench 评测显示长时智能体在环境演变中难以维持经验有效性
Towards Robust Long-Lived Agents: Benchmarking Experience Lifecycles in Evolving Environments
AI 摘要
该论文发布 ReScopeBench 基准,针对 18 个交互环境评估 20 个模型在长时任务中的经验生命周期表现,核心发现是虽然保留的经验能提升任务绩效,但智能体在环境发生静默变化时无法有效更新经验,导致即使记录了正确信息仍可能失败。
研究将经验细分为结构经验(环境组织与访问方式)和规则经验(跨任务的可复用原则),并通过“经验优先”构建法引入共享任务流和静默环境变更来测试模型的修订与保留机制。实验数据表明,随着环境演变,模型倾向于过度依赖旧有结构或规则,缺乏选择性维护机制,使得经验库迅速过时。
事实层面确认了当前模型在动态环境中存在经验老化问题;推断层面指出单纯增加上下文窗口或训练数据量无法解决此问题,必须引入显式的经验验证与更新机制;猜测层面认为未来 Agent 架构需从静态记忆转向动态经验治理,否则在真实复杂场景中难以实现真正的长时辅助。
来源:arXiv cs.AI · arxiv.org