工具使用智能体的可控遗忘机制在实践中的资源节省与延迟权衡

这篇论文提出并评估了一种由智能体自主控制的上下文遗忘机制，允许模型将工具返回结果替换为简短摘要并归档原始数据，从而在不训练特定任务模型的情况下实现可逆的上下文管理。实验显示，在包含 OpenTelemetry 调试和独立实施任务的混合场景中，该方法将累计输入 token 减少了 50%，API 成本从约 4.38 美元降至 1.28-1.44 美元，同时保留了所有原始信息供恢复。

然而，这种成本节约伴随着明显的性能折损：执行相同任务时，该方法的请求次数更多且耗时比保留完整历史长 17%。此外，研究还发现该方法的效果高度依赖工作负载类型，在一个对比的应用开发案例中未产生任何上下文或成本节省，而在另一个较早的延续性任务中，尽管上下文减少，但人工评估的质量反而更低。这表明简单的上下文压缩并非在所有工具调用轨迹中都有效。

事实层面，该机制通过 Python 框架实现了批量归档和显式恢复，保护了用户指令和助手消息不被操作；推断层面，这揭示了当前“无限上下文”策略在噪声密集的工具调用场景中存在过度冗余，而“可控遗忘”可能是一种更优的资源分配方案；猜测层面，若未来系统能结合任务复杂度动态选择是否启用此机制，或许能在保持质量的同时最大化成本效益，但这需要进一步验证不同任务分布下的表现。