arXiv cs.AI· Jayesh Bhadane, Ramachandra Yerramsetti, Rajesh Gupta, Sumit Kumar·· 5 小时前AI 评分65
论文提出状态绑定运行时层以解决 AI Agent 工作流中的评估与执行差距
Runtime Control for AI Agents: Closing the Evaluation--Execution Gap in Operational Workflows
AI 摘要
该研究针对语言模型 Agent 在运营工作流中因事实、证据、政策或权限变更导致“当时有效”的审批在后续执行时失效的问题,提出了一个状态绑定的运行时保障层。该架构将概率性测量与确定性裁决分离,将执行许可绑定到决策相关的审批基础之上,并在相关日志变更发生后自动使该许可失效,在分派前重新检查准入性,从而区分了先前审批的持续有效性与当前状态的政策检查。
在脚本化的42个案例重放实验中,该状态绑定配置识别出15个后来被无效的审批,而刻意不进行重新评估的时点比较器未能发现这些情况;系统成功拦截了14项受影响的操作并补偿了一项已生效的影响。研究明确指出了八种故障模式,并提供了保障模型、参考架构及带有回溯补救的前瞻性干预措施。实验结果仅在明确的拦截、摄入、依赖和序列化假设下成立,旨在展示特定策略和事件顺序下的行为,而非证明其优于分派时强制执行设计或在生产环境中的有效性。
这一成果为构建高可靠性的自主 Agent 系统提供了新的工程思路,即通过引入外部状态感知机制来弥补纯基于历史上下文的推理缺陷。事实层面,该方法在受控实验中展现了比传统时点评估更高的风险拦截率;推断层面,这暗示未来 Agent 框架可能需要内置类似的状态监听器以应对动态业务规则;猜测层面,将其应用于复杂多变的真实生产环境可能面临日志同步延迟和性能开销的挑战,目前尚未经过大规模部署验证。
来源:arXiv cs.AI · arxiv.org