部署型工具智能体中表数据规模导致交付架构失效的实证分析
Fidelity Collapses with Table Size, Not Turn Count: Delivery Architecture in a Deployed Tool-Using Agent
该论文通过对比两种在相同冻结载荷、匹配提示词和采样条件下的多轮智能体架构,证实了将工具结构化记录完整注入模型上下文的方案(SYNTHESIS)会随表格行数增加导致准确率急剧崩塌,而采用会话状态存储加类型化侧信道传递行的方案(BYPASS)则保持性能稳定。在24个对话共339个评分回合的实测中,BYPASS方案正确率为92.3%,SYNTHESIS仅为45.7%,配对差距达46.6个百分点。
关键证据显示,SYNTHESIS方案的崩溃阈值与模型能力相关:GPT-4o-mini在10行以内表现尚可,超过约74行后正确率跌至8%以下;Gemini 2.5 Pro可维持至约198行以上,但BYPASS方案在所有测试模型上均不受表格大小影响。成本方面,当行数超过100行时,SYNTHESIS每获得一个正确答案的成本约为BYPASS的200倍(后者固定为每条$0.012)。这表明行业实践中采用的“类型化侧信道”不仅是渲染优化,更是保障数据正确性的必要架构决策。
事实层面,该研究量化了多轮交互中数据重发射导致的累积错误机制,并明确了不同模型对长上下文表格的处理边界。推断层面,当前主流基于大上下文窗口的Agent设计若未引入外部状态隔离或侧信道机制,在涉及复杂结构化数据的多轮任务中将面临不可接受的可靠性风险。猜测层面,未来端侧或低成本推理场景可能更倾向于强制使用此类非上下文依赖的数据传递协议以规避幻觉放大效应。
材料把收入增长拆到客户和成本结构,能直接校正对商业化质量的判断。
来源:arXiv cs.CL · arxiv.org