信息污染与引用

论文提出 CTWM 用重尾记忆轨迹优化长程语言 Agent 的记忆预算

Xinyuan Song 和 Zekun Cai 在 arXiv 论文中指出，长程语言 Agent 的外部记忆使用会向少数核心状态集中，罕见状态则落入长尾并累积预测误差；他们据此提出 Core--Tail World Model（CTWM），用单一指数 τ 分配提示词预算并保留摘要化长尾。 在 Synthetic Graph World 上，论文称 CTWM 相对 graph-memory baseline 保持完整状态与转移覆盖，减少 5.9% prompt tokens，并把下半部分长尾预测误差降低 13.6%。同一配对比较还显示其在 ALFWorld 上有一致的 token 节省，在 LongMemEval 上减少 24.48% tokens 且总体准确率持平。审计部分还发现集中现象可复现但依赖策略：random-walk agent 产生与 log-normal 兼容的检索痕迹，语义 LLM 策略产生更强的截断幂律核心—长尾痕迹。 事实是论文给出了审计方法和三组基准上的配对结果；推断是重尾记忆轨迹可作为 token 高效世界模型的控制信号；猜测是其是否适用于更复杂真实任务仍取决于外部验证。