跳到正文
原文
arXiv cs.AI· Xinhao Song, Haoxuan Peng, Su Su, Hongliang Wu, Sirui Song, Gongshen Liu, Linfeng Zhang, Dongrui Liu·· 5 小时前AI 评分70

SolveBind框架证明GUI Agent需将答案转化为可验证交互才能突破CAPTCHA等动态验证屏障

Correct Answers, Closed Gates: SolveBind for GUI Agents at the Verification Barrier

AI 摘要

该论文指出网站和应用的CAPTCHA及反自动化机制不仅依赖最终结果,更通过交互轨迹和时间等行为信号区分人类与自动代理,导致单纯输出正确答案的MobileAgent在90个任务中仍有13个因动态验证失败而中断。作者提出SolveBind框架,通过分层求解树将验证任务分解为感知、定位、求解、执行和验证五个相互依赖的能力,并引入运行时监督器将动作承诺锚定在工具生成的证据上,在显式恢复预算下调解执行过程。在九个CAPTCHA任务家族和九个骨干模型测试中,SolveBind在八个模型上取得最高成功率,比最强基线高出13.3至34.5个百分点,并在所有六个AndroidWorld骨干模型上表现最佳。

实验数据显示,移除自动提交时的绑定机制会使成功率从82.22%降至71.56%,同时增加延迟和Token消耗;而设置恢复上限虽使成功率微降至83.56%(相比无限制时的82.22%略高),但能将延迟和Token使用量分别控制在全监督模式的3.7倍和2.4倍以内。这表明在存在动态验证的环境中,成功的核心不在于解题本身,而在于建立基于证据的执行控制回路以应对运行时反馈。

事实层面,SolveBind在特定基准上显著优于基线,且证明了绑定机制对维持成功率的必要性。推断层面,当前GUI Agent的商业化落地必须解决行为信号层面的验证问题,单纯提升推理能力的边际效应正在递减。猜测层面,未来针对此类环境的对抗性训练可能会成为Agent框架的标准组件,而非可选优化项。

来源:arXiv cs.AI · arxiv.org