SecPO论文提出新损失函数与强对抗训练,将Qwen3.6-27B的提示注入攻击成功率降低至8.8%
SecPO: Principled Adversarial Training for Prompt Injection Security
该论文针对现有最佳防御模型Meta-SecAlign在自适应提示注入下仍面临近100%攻击成功率的问题,提出了SecPO(Principled Adversarial Training for Prompt Injection Security)方法。作者指出DPO损失函数因锚定在不安全的参考模型上存在缺陷,转而构建了一个理想的、对注入免疫且保留效用的Oracle作为近似参考,并据此设计了SecPO损失函数。同时,研究实施了一套高效的对抗训练管道,能够合成强度更高的注入输入(best@240),而非依赖以往较弱的模拟攻击。
实验数据显示,仅采用高效对抗训练即可使三种最先进自适应攻击的攻击成功率(ASR)降低1.5至14.5倍;在此基础上引入SecPO损失函数,相比使用DPO损失又能进一步降低2.4至4.6倍。在具体的AgentDojo工作流测试中,经过SecPO + AT训练的Qwen3.6-27B模型在AttackerMovesSecond攻击下的ASR仅为8.8%,而对比的Meta-SecAlign模型高达78.8%。此外,该防御模型在涵盖Agent工具调用、指令遵循、科学及数学领域的九个基准测试中,未表现出明显的良性效用下降。
事实层面,作者已公开代码、包含优化注入的训练数据集以及Qwen3.6-27B-Instruct-SecPO模型权重。推断层面,这表明单纯依靠DPO对齐不足以应对高级别的安全威胁,必须结合更优的参考分布建模与高强度的对抗样本生成。猜测层面,该方法若推广至其他大模型架构,可能成为未来Agent系统安全基线的关键组件,但其在极端复杂多轮交互中的泛化能力仍需更多独立验证。
来源:arXiv cs.CR · arxiv.org