RAG-Stress 诊断协议显示检索证据优先指令显著提升模型被误导替换答案的概率

该研究提出 RAG-Stress 诊断协议，证明遵循检索证据并不保证事实正确性，误导性证据可诱导模型将原本正确的答案替换为错误答案。研究在 TriviaQA-RC、HotpotQA 和 SearchQA 等数据集上评估了十五个系统，发现优先使用文档的指令比允许依赖先验知识的指令产生更高的误导率（MR），平均差距在 10.9 到 13.5 个百分点之间。

实验细节显示，无论采用何种优先级策略，误导率均呈现“结尾 > 开头 > 中间”的趋势，但各模型表现不完全一致。针对 500 道题目的配对审计进一步支持了有害覆盖增加的结论，且未观察到有益修正的相应提升。这一结果区分了证据依从性与事实可靠性，表明当前标准准确率指标掩盖了这种由证据诱导的错误替换行为。

事实层面确认了 RAG 场景下存在特定的脆弱性机制，推断出单纯优化检索相关性不足以保障输出质量，需重新评估检索证据对模型内部知识的覆盖与修正关系。猜测部分认为未来对齐工作若忽视此现象，可能导致系统在复杂检索任务中表现出不可预测的幻觉行为，但这需要更多跨语言和多模态数据的验证。