AOS-Bench 测试显示 LLM Agent 在动态负载管理上存在显著能力缺口且固定策略表现优异

arXiv 2610.33178 发布 AOS-Bench 基准，首次将 LLM Agent 评估从单任务隔离场景扩展至共享 CPU 和内存的动态多任务流管理。研究发现，在重负载下所有系统成功率下降 13 至 23 分，且孤立任务的成功率无法线性迁移到流式任务中。例如两个系统在孤立测试中仅差 0.6 分，但在流式交付同一任务集时分别完成 54% 和 68%，差距被放大。

深入分析执行策略干预发现，串行分发导致重负载下 73% 的任务未被认领。然而更复杂的代理管理策略并未带来显著优势：固定并发数为 2 的策略在中等和重负载下均能逼近最佳代理管理策略的性能（差距仅 4 分），且在等待期间中位 CPU 使用率始终低于提供核心数的 30%。这表明当前 Agent 在资源感知和任务调度上的“智能”可能过度复杂化，而简单的启发式规则已接近上限。

事实层面确认了现有基准无法衡量 Agent 作为工作负载管理器的能力；推断表明 Agent 在并发环境下的实际效能可能被高估，且资源利用率存在巨大冗余空间；猜测认为未来 Agent 架构需重新设计以包含显式的资源调度模块，而非依赖模型自身的推理能力处理并发逻辑。