Reddit · MachineLearning· /u/Prestigious-Tip6030·2026-10-24 04:39· 3 小时前AI 评分42

长上下文模型是否因缺乏“遗忘机制”而难以处理冲突信息？

Are we solving LLM memory by remembering more, when the real problem is knowing what to forget?[D]

AI 摘要

长上下文模型虽能处理百万级 token，却常因无法更新旧信息而导致冲突处理失效。文章指出当前评估多关注检索能力，缺乏针对模型在保留旧知识同时修正矛盾证据能力的基准测试。作者呼吁探索 DeltaNet、BDH 等架构如何解决记忆更新与冲突消解问题。