arXiv cs.CL· Minsu Oh, Seunghui Jwa, Soo Kyun Kim, Yeo-Chan Yoon·· 5 小时前AI 评分75
采集日期元数据会重定向大语言模型在时间问答中的答案
Collection-Date Assignment Redirects Answers in Temporal QA
AI 摘要
该研究通过实验证明,仅修改来源的采集日期(collection date)这一元数据,即可在不改变证据内容的前提下,显著降低大语言模型在时间问答任务上的准确率。在595个维基百科页面和128个独立页面的测试中,将问题日期与次日互换导致五个开源模型的精确匹配率下降37.6至51.4个百分点,而前一日互换也造成29.0至39.6个百分点的损失。
实验细节显示,这种偏差并非源于模型记住了特定答案或识别了相同的日期字符串,因为虚构答案和英文月份名称提问依然触发效应。虽然让Qwen3.5进行“匹配思考”可将惩罚从30.1点降至11.1点,但原生推理模型表现各异。此外,向输入中添加包含一个观测到的采集日期的字段,在修正后仍使三个模型的准确率相对下降,且大规模交换导致的损失主要集中在问题日期附近,远距离日期交换影响较小。
事实层面,该诊断隔离了元数据效应与证据变更或版本缺失的影响,证明了采集日期是时间问答中的强干扰项。推断上,当前基于RAG的系统若未对元数据进行严格清洗或显式忽略指令,可能在处理历史文档时产生系统性偏差。猜测部分在于,不同API模型表现差异暗示了内部对齐机制对元数据的敏感度不同,但这需要更多基准测试确认。
来源:arXiv cs.CL · arxiv.org