RAG防御基准因构造捷径导致决策崩溃

该研究通过复现21项已发表的检索增强生成（RAG）毒化防御评估，发现近完美的检测性能主要源于毒化数据集的构建线索而非过滤器本身的阅读能力。具体而言，PoisonedRAG发布的代码会在每个插入的段落前添加目标问题作为前缀，这种包含性（containment）和长度重叠构成了可被统计识别的线索。当研究者仅删除这些前缀或填充无内容词以匹配干净语料长度时，原本AUROC为0.953的RAGuard过滤器其误报率从0.191飙升至0.763，而TrustRAG的漏报率则从0.000上升至0.827，尽管其AUROC数值仍维持在0.953。 这一现象表明，现有的防御评测存在严重的操作点坍塌风险：排名机制可能依然有效，但基于阈值的决策机制在移除特定构造线索后完全失效。研究团队分析了四个语料库、四个攻击家族和十个文档级防御，发现检测结果仅在报告了毒化集的构造特征及实际部署阈值下的假阳性率时才具有证据效力。目前已有12项评估在部署点报告零假阳性，但这极可能是由数据构造偏差造成的假象。 事实层面，研究证实了特定前缀和长度匹配是驱动当前高评分的关键变量；推断层面，这意味着行业对RAG毒化防御成熟度的判断可能被严重高估，许多声称“完美”的防御在实际对抗中可能不堪一击；猜测层面，未来若攻击者主动规避这些构造线索，现有防御体系将面临大规模失效风险，亟需建立包含构造剖面报告的标准化评测协议。