SkillShift-Bench 发布首个针对Web智能体技能学习的环境演化基准测试

该论文提出SkillShift-Bench，这是首个用于评估Web智能体在受控开放环境变化下技能学习能力的基准测试。研究指出，现有评估多在封闭环境中进行，忽略了真实Web部署中持续变化的调用上下文、感知基础和执行可行性。该基准通过模拟上下文漂移、感知漂移和执行漂移三种场景，在三个自托管Web系统上对智能体进行了全面评估。

实验结果显示，在受控漂移条件下，智能体的系统性鲁棒性显著下降，表现为任务成功率降低、交互成本增加以及技能失败频率上升，其中执行漂移带来的压力最大。作者将漂移后的技能执行形式化为非平稳局部可执行性问题，并提供了动态 regret 分析和一种实用的测试时适应方法，证明无需重新学习技能库即可提升已学技能的执行效果。

事实层面，该基准包含任务成功、交互成本、技能使用和失败诊断等指标，代码、任务、环境和排行榜已公开。推断层面，这表明当前Web Agent的技能复用能力在动态环境中存在明显短板，单纯依赖静态数据集训练的模型难以直接落地。猜测层面，若行业广泛采用此基准，可能会推动智能体架构从静态技能库向具备在线适应能力的动态系统迁移，但具体技术路径仍需进一步验证。