跳到正文
原文
arXiv cs.AI· Jiongxiao Wang, Han Ding, Youzhi Luo, Yawei Wang, Yun Zhou, Linbo Liu, Panpan Xu·· 6 小时前AI 评分65

Pitfall Anticipation World Model 通过预测多步陷阱提升黑盒 LLM Agent 性能

Steering Black-Box Large Language Model Agents with Pitfall Anticipation World Model

AI 摘要

该论文提出 Pitfall Anticipation World Model (PAWM),旨在解决黑盒大语言模型智能体在特定任务中缺乏环境内部知识的问题。与传统世界模型仅预测下一步观测不同,PAWM 专注于预测有界多步未来中的潜在陷阱,并在检测到风险时选择性介入以引导智能体避开失败路径。

PAWM 采用两阶段训练策略:首先在标注了智能体陷阱的合成数据上进行监督微调(SFT),随后与黑盒 LLM 进行 GRPO 协同训练以优化目标环境下的表现。实验数据显示,该方法使 Claude Sonnet 4.5 在 ScienceWorld 基准上的性能提升了 24.3%,在 WebArena-Lite 上提升了 7.7%,优于多种基线方法。这一结果验证了针对特定任务场景的“陷阱预测”比通用的“状态预测”更能有效指导黑盒智能体的决策过程。

事实层面,PAWM 确实通过 SFT 和 GRPO 实现了上述性能增益;推断层面,这种机制暗示未来的 Agent 系统可能不再依赖全量环境模拟,而是转向轻量级的风险预判模块以降低计算成本;猜测层面,若将该架构迁移至资源受限的端侧设备,其选择性干预特性或许能显著减少无效推理步骤,但具体延迟与显存占用需进一步实测验证。

来源:arXiv cs.AI · arxiv.org