arXiv cs.AI· Masoud Shokrnezhad, Tarik Taleb·· 3 小时前AI 评分63
论文提出CRO算法以概率保障覆盖智能体系统的动态资源需求
Uncertainty-Aware Resource Orchestration for Agentic AI Systems
AI 摘要
该论文针对由大语言模型驱动的智能体系统在执行过程中产生的不可预测计算与带宽需求问题,提出了不确定性感知资源编排(Uncertainty-Aware Resource Orchestration)框架。传统调度器依赖已知的工作流图或静态需求模型,无法适应智能体运行时因中间观察结果和随机Token采样而呈现的重尾、多模态分布特征,导致过度预留浪费资源或预留不足引发执行中断。
作者形式化定义了该问题,并提出了名为“共形编排预留”(Conformal Reservation for Orchestration, CRO)的在线算法。该方法利用过去执行轨迹的滑动窗口,通过共形预测技术将历史数据转化为分发时的资源分配方案,并在有限样本和无分布假设下提供覆盖保证。仿真结果显示,在异构任务混合且具备多模态及重尾分布特征的测试中,CRO是唯一能同时满足所有风险水平下目标概率覆盖的方法,且在可行方法中实现了最低的过度预留量,其资源浪费约为Chebyshev界限基线的一半。
事实层面,该研究确认了智能体管道需求的非平稳性本质,并验证了CRO算法在特定模拟环境下的性能优势。推断层面,这意味着未来边缘云基础设施可能需要引入此类统计学习驱动的调度机制来支撑高并发智能体应用。猜测层面,该算法在实际大规模生产环境中的延迟开销及与现有MCP工具调用生态的集成效果仍需进一步实证,目前结论仅基于6页论文中的模拟数据。
来源:arXiv cs.AI · arxiv.org