论文提出 RealtimeBench 与 TORSI 框架以解决 LLM Agent 在动态环境中的时效失效问题

该研究通过构建包含 180 个任务的 RealtimeBench 基准，揭示了大语言模型 Agent 在持续运行环境中因推理和工具调用耗时导致的“正确但过时”失效现象。实验显示，GPT-6.1-sol 在暂停游戏的静态评估中优于 Jev，但在游戏持续运行的动态场景下反而落后，证明传统离线评估无法反映真实世界的时效约束。

针对此问题，作者提出双时域离线递归自改进（TORSI）框架：慢速教师模型在暂停的游戏间隙分析失败案例并测试修正方案，生成可复用的指令供快速学生模型在 gameplay 期间直接执行，无需教师介入。经过两轮迭代，Jev 在 0-100 进度量表上的平均得分从 13.51 提升至 24.19，且生成的指令在未微调的情况下提升了另外三个模型的通用表现。

事实层面，该工作验证了将 deliberation（深思）、learning（学习）与 action（行动）按不同时间尺度组织的有效性；推断层面，这暗示未来 Agent 架构需显式分离“规划层”与“执行层”以适应非冻结环境；猜测层面，这种跨时域训练机制可能成为解决长尾实时任务的关键路径，但具体部署成本与延迟权衡仍需工程验证。