arXiv cs.CL· Shenglai Zeng, Xiao Yang, Tiffany Ma, Xinyuan Zhang, Nanshu Wang, Deren Lei, Kai Sun, Xilun Chen, Tammy Stark, Xianhui Zhu, Yuetai Li, Rulin Shao, Tianxin Wei, Rakesh Wanga, Anuj Kumar, Jiliang Tang, Wen-tau Yih, Xin Luna Dong·· 7 小时前AI 评分72
ProPerAgent 通过记忆图与强化学习将主动干预准确率从不足 10% 提升至 42.4%
ProPerAgent: Toward Memory-Driven Proactive Assistance
AI 摘要
该研究针对从被动问答转向主动干预的 AI 助手,提出 ProPerMem 基准测试,要求模型从长达一年的个人记忆中挖掘证据以决定何时介入,而非仅依赖上下文提供的现成事实。实验显示,所有基线模型表现极差,最高准确率仅为 15%,即使前沿模型 GPT-5.3-Chat 在拥有完美证据但需自主决策时机时,准确率也从 96% 骤降至 38%。
核心发现在于内容与时序必须同时满足,缺失任一环节即导致灾难性失败。基于此,作者构建了 ProPerAgent,采用图组织存储提取记忆、设置中断门槛过滤低价值信息,并引入轻量级强化学习阶段抑制过早或重复触发。在未进行训练的情况下,该框架使 Qwen3.8-27B 和 GPT-5.3-Chat 的严格准确率分别从低于 10% 提升至 37.5% 和 38%;经过 RL 后训练后,Qwen3.8-27B 达到 42.4%。
这一结果推断出当前 RAG 范式在处理长周期记忆驱动的主动任务时存在根本性局限,单纯检索不足以支撑可靠干预。事实层面确认了长窗口记忆挖掘的高难度,推断表明未来 Agent 架构需显式分离记忆检索与触发决策机制,猜测则指向端侧部署中可能需结合本地图结构以降低延迟,但具体工程落地路径仍需进一步验证。
来源:arXiv cs.CL · arxiv.org