LLM 如何归因答案来源：证据显示源报告取决于回答生成时的缓存状态

该研究通过干预大语言模型的键值（KV）缓存，发现模型在回答“答案来自哪里”时，其归因结果并非基于提供的文档内容，而是由生成答案过程中产生的缓存状态因果决定。在涉及四个模型（7B-32B）的控制性事实任务中，改变或删除文档对应的缓存从未改变报告的来源；相反，将问答对的缓存移植到具有相同问答标记但不同文档的运行中，所有可适用的报告都会跟随供体模型，而接收方的文档保持不变。

具体数据显示，在两个较小模型上，沿预先拟合的方向引导问答值，以固定强度逆转了四种文档条件下 98.9% 至 100% 的报告，而范数匹配的随机方向翻转率仅为 1.1%。进一步分析表明，密钥和值在拟合方向上的分量承载了这种移植效应：仅复制这些分量几乎能复现报告变化，而固定它们则几乎阻止了变化。当应用于答案生成期间时，相同的值方向也会改变答案的来源供应，尽管效果较弱且依赖于提示词。

事实层面确认了源报告在特定设置下取决于回答生成时的缓存状态，但这并不等同于建立了通用的报告准确性或对该状态的完整解释。推断上，这意味着当前的归因机制可能更多是模型内部状态的副产品而非真正的检索验证，猜测这可能导致在 RAG 等系统中出现看似合理但实际错误的来源引用，因为模型倾向于报告与其生成过程一致的状态而非外部事实依据。