Async-RBench 基准测试显示 LLM Agent 在异步任务执行中成功率低于批处理且重规划收益微弱

该研究提出 Async-RBench 基准，专门用于评估大语言模型智能体在异步任务执行中的表现，发现所有被测试的九个智能体在异步交付模式下的任务成功率（26.0%）均低于批处理模式（29.7%）。研究通过引入动态重规划得分（DRS）将响应过程与最终结果同等权重评估，指出仅看最终任务成功无法反映智能体是否正确处理了中间状态变化或避免了禁止操作。

实验数据显示，九个智能体的 DRS 分数分布在 19.2 至 45.1 之间，主要失分点集中在重复报告处理和子智能体失败场景。针对三个智能体进行的干预实验表明，即使提示主智能体在每次收到结果后重建计划，DRS 分数也仅提升 2.6 至 3.5 分，说明简单的重规划策略难以解决异步环境下的核心可靠性问题。该基准包含 200 个可执行任务和八个场景，利用事件响应合约（ERC）严格规定了每个响应必须变更、保留、避免和重新验证的内容。

事实层面，异步执行确实导致任务成功率下降且简单重规划效果有限；推断层面，当前主流智能体架构在处理非确定性异步输入时存在显著的能力边界缺陷；猜测层面，未来可能需要更复杂的内部状态管理机制而非单纯的外部提示工程来提升鲁棒性。这一结论要求行业在评估 Agent 性能时，必须从单一的结果导向转向包含过程合规性与状态一致性的多维评估体系。