新研究揭示检索注意力衰减源于上下文竞争而非长度

该研究通过合成任务测试发现，在键值检索场景中，中性填充文本几乎不增加损失，而竞争性陈述会显著降低准确率并推高损失。实验覆盖 0.5B 至 3B 的五款开源模型，在 32K token 长度下，中性填充的准确率维持在 0.97 至 1.00，而竞争性陈述的准确率降至 0.11 至 0.21，且针对同一查询键提供冲突值的陈述会使损失扩大 9 至 110 倍。 数据表明，注意力质量（a*）的对数解释了 35% 至 58% 的损失方差，而长度的对数仅解释 2% 至 8%。这一结果反驳了单纯因长度增加导致性能下降的观点，证实了“可见的中性控制”对于评估长度效应的必要性。研究复现了 Du et al. (2025) 关于掩码填充导致 MMLU 分数下降的现象，但在检索任务中，掩码造成的 46 个准确率点损失远大于可见填充带来的零损失。 事实层面，该结论基于合成任务和最大 7B 参数的模型验证；推断层面，这意味着在真实 RAG 管道中，信息污染和语义冲突可能是比上下文长度更关键的瓶颈；猜测层面，作者希望观察更大模型或实际生产环境是否呈现相同模式。代码与数据集已开源，供社区进一步验证。