Qwen2.5 与 Qwen3-14B 在 RAG 中因过时事实导致准确率显著下降

该研究通过 MemoryAgentBench 的 FactConsolidation 任务指出，仅检索到最新事实并不足以保证智能体回答正确，因为过时的竞争陈述比无关证据更具破坏性。实验显示，在 Qwen2.5-7B-Instruct 上，当 BM25 检索的证据预算从 64 tokens 增加到 512 tokens 时，准确率反而从 45% 降至 32%，尽管事后审计确认所有检索集中均包含最新陈述。

具体数据表明，在冻结提示词且保持四条证据数量相等的条件下，将一条无关陈述替换为过时的竞争陈述，会使 Qwen2.5 的准确率从 100% 暴跌至 44.6%，Qwen3-14B 则从 100% 降至 87.8%。此外，32K 历史记录的复现实验也证实了 BM25-64 优于 BM25-512（69% 对比 58%），说明盲目扩大检索范围可能引入更多干扰项而非提升性能。

事实层面：模型在检索到正确信息后仍会优先选择过时信息，且检索量增加反而降低表现。推断层面：当前基于 BM25 等稀疏检索的 RAG 系统在长上下文或动态更新场景中存在严重的“过时事实陷阱”，单纯优化检索召回率无法解决此问题。猜测层面：这暗示模型内部可能存在对时间戳或版本号的弱编码机制，未来可能需要引入显式的时间感知对齐或更复杂的冲突消解策略，但这需进一步验证。