跳到正文
原文
arXiv cs.CL· Yiqi Wang, Zizhi Zeng, Jiaqi Zhang, Yiqun Duan, Mingkai Zheng, Taotao Cai·· 6 小时前AI 评分65

ActiveWebPref 基准测试显示跨任务复用价值可显著提升长期个性化 Web Agent 效用

Learning What to Ask for Tomorrow: Active Preference Acquisition for Long-Term Personalized Web Agents

AI 摘要

该论文提出主动偏好获取(APA)框架,旨在解决现有被动记忆和澄清方法无法获取用户未主动揭示的偏好、且仅评估当前任务收益导致长期效用损失的问题。研究定义了前瞻个性化价值(PPV),即未来任务预期累积效用增益减去询问成本与披露风险,并在单次交互预算约束下选择问题。

在 ActiveWebPref 纵向基准测试中,当任务 horizon 为 20 时,34.4% 的高价值缺失偏好具有摊销依赖性,即单任务收益不足但跨任务复用价值高。APA 成功获取了其中 80.3% 的偏好,而仅基于当前任务信息价值的基线方法仅获取 5.1%。在匹配 APA 实际支出的询问成本上限下,APA 的净效用优于四种启发式选择基线;若询问所有未知偏好,净效用反而低于不询问,而 APA 仅用 27.6% 的提问量恢复了 84.2% 的潜在效用增益。

事实层面,该方法通过代理自身求解器在公共任务原型上计算反事实增益,并按任务家族预期复用率聚合。推断层面,这表明构建长期有效的 Agent 必须将偏好获取视为跨期投资而非单次交易。猜测层面,若行业普遍采用此类机制,Agent 的冷启动阶段将更依赖对任务家族的预定义假设来估算 PPV,否则难以在缺乏历史数据时准确判断哪些偏好值得询问。

来源:arXiv cs.CL · arxiv.org