Meta 等提出上下文语言模型 CLM 以自主管理上下文并降低算力消耗

Meta、麻省理工学院与华盛顿大学联合提出上下文语言模型（CLM），允许大语言模型自主编辑自身上下文而非依赖外部摘要或检索机制，在 BrowseComp-Plus 和 EdgeBench 等基准测试中实现了准确率提升与浮点运算量显著减少。该研究通过零样本、上下文学习和强化学习三种方式验证了模型习得上下文管理策略的能力，其中强化学习方案将 Qwen3.5-9B 在特定任务上的准确率从 28.8% 提升至 42.5%，同时减少 12% 的算力消耗。

尽管性能数据亮眼，但材料明确指出了三个关键局限：一是模型可能永久丢弃后续无法找回的重要信息；二是可编辑上下文引入了新的安全风险，可能成为提示词注入或自生成指令在多轮对话中持续留存的通道；三是更强的上下文控制权并不等价于更好的模型表现，模型仍可能在信息保留与删除上做出错误判断。此外，社区评论指出重写上下文会导致模型缓存失效，且现有缓存技巧存在缺陷，这直接挑战了该技术在生产环境中的可用性。

事实层面，CLM 确实在特定基准测试中展示了效率优势，但推断层面需警惕其作为通用解决方案的成熟度。猜测层面，若该技术被广泛采用，现有的基于静态上下文的缓存优化架构可能需要重构，且 AI 安全领域需重新评估“自生成指令”在动态上下文中的持久化威胁。目前该方向尚未达到生产就绪状态，更多体现为一种突破人类先验认知的探索性研究。