Gemma-3-12b在RAG中受多数一致毒化文档影响降低检测率

该研究通过 SciFact 数据集验证了检索增强生成（RAG）系统中存在类似从众的偏差：当检索到的文档中多数为相互一致的 poisoned（被投毒）内容时，语言模型检测虚假信息的能力显著下降。实验对比了单一投毒文档与六个一致投毒文档两种情境，发现 Gemma-3-12b 模型的检测率从少数派条件下的 25% 降至多数派条件下的 10%，且统计检验显示这种变化具有高度显著性。 具体数据表明，在 200 个随机问题中，面对六个一致投毒文档的情境下，仅有 20 个问题被正确识别为错误，而面对一个投毒文档时则有 50 个问题被识别。在 38 个结果发生变化的样本中，有 34 个从“已检测”变为“未检测”，仅 4 个反向变化，McNemar 检验的 p 值为 6.04e-7。这一现象表明，当模型接收到的外部证据呈现压倒性的一致虚假信号时，其原本具备的辨别能力会被抑制，表现出对多数派意见的顺从。 事实层面确认了特定模型在特定测试集上的性能衰减；推断层面指出当前 RAG 系统若缺乏对检索源一致性的校验机制，可能因聚合多个同源或协同投毒的文档而放大风险；猜测层面认为这种偏差可能不仅限于 Gemma-3-12b，其他基于 Transformer 架构的模型在类似对抗场景下也可能面临同样的鲁棒性挑战。这提示在构建高可靠性 RAG 应用时，不能仅依赖检索结果的语义一致性，需引入额外的多样性验证或对抗性防御策略。