元数据采集日期误导大模型时间问答

该研究通过实验证明，仅修改来源的采集日期（collection date）这一元数据，即可在不改变证据内容的前提下，显著降低大语言模型在时间问答任务上的准确率。在595个维基百科页面和128个独立页面的测试中，将问题日期与次日互换导致五个开源模型的精确匹配率下降37.6至51.4个百分点，而前一日互换也造成29.0至39.6个百分点的损失。 实验细节显示，这种偏差并非源于模型记住了特定答案或识别了相同的日期字符串，因为虚构答案和英文月份名称提问依然触发效应。虽然让Qwen3.5进行“匹配思考”可将惩罚从30.1点降至11.1点，但原生推理模型表现各异。此外，向输入中添加包含一个观测到的采集日期的字段，在修正后仍使三个模型的准确率相对下降，且大规模交换导致的损失主要集中在问题日期附近，远距离日期交换影响较小。 事实层面，该诊断隔离了元数据效应与证据变更或版本缺失的影响，证明了采集日期是时间问答中的强干扰项。推断上，当前基于RAG的系统若未对元数据进行严格清洗或显式忽略指令，可能在处理历史文档时产生系统性偏差。猜测部分在于，不同API模型表现差异暗示了内部对齐机制对元数据的敏感度不同，但这需要更多基准测试确认。