开源小型模型检测RAG提示注入研究

这篇 arXiv 论文提出 nokast-secureRAG，一个约 0.5B 参数的轻量级语言模型，旨在作为检索增强生成（RAG）系统中的语义防火墙，联合评估用户查询与检索上下文以识别间接提示注入和检索投毒。该模型采用教师 - 裁判 - 学生训练流程，在分布内测试集上实现了 99.4% 的检测召回率和 2.6% 的误报率，显著优于正则基线、Prompt-Guard-86M 及 Llama Guard 3 1B 等现有方案。 然而，关键证据显示该模型存在明显的泛化局限：在外部 PoisonedRAG 基准测试中，其召回率降至接近零。作者明确指出，这是因为流畅的事实投毒攻击超出了该检测器所依赖的“指令一致性”威胁模型范围。此外，虽然批处理下的摊销吞吐量延迟为 37ms，但单次请求延迟为 293-404ms，仍高于 100ms 的目标值。 事实层面，该模型及其数据生成管道已开源；推断层面，这表明仅基于指令一致性的轻量级检测器难以应对复杂的现实世界投毒攻击；猜测层面，若需部署此类系统，必须结合其他非指令类特征或更重的模型，否则可能产生虚假的安全感。