跳到正文
原文
arXiv cs.CR· Utkarsh Kanwat·· 2 小时前精选AI 评分82

新论文揭示通过伪造提示词欺骗LLM安全护栏的“目标重绑定”攻击

Fooling LLM Safety Guards into Judging the Wrong Text

AI 导读

该研究提出一种名为“目标重绑定”的攻击方法,利用大多数内容安全护栏将输入作为纯文本提示处理的特性,通过在有害请求后追加模仿护栏指令的无害诱饵,使护栏错误地评估诱饵而非原始恶意请求。在预注册测试中,这种带有伪造查询和诱饵的内容成功绕过了Shieldstral-1.0-3B护栏对所有75个保留的AdvBench请求的拦截。

实验显示,针对五种主流护栏(包括Shieldstral、gpt-oss-safeguard、ShieldGemma、Llama Guard 3和Qwen3Guard),每种护栏都存在特定的攻击家族,能清除至少93%的其原本标记为有害的项目。作者发现,对于Shieldstral和gpt-oss-safeguard,目标重绑定是主要解释因素;而对于其他模型,通用规避或尾部文本也起到部分作用。通过训练护栏使其评分不低于内容中最有害部分的分数,攻击成功率从75%显著下降至0.8%-1.6%。

尽管经过训练的护栏在对抗样本上表现大幅提升,但基于分数的搜索策略仍能在47/50项测试中击败该护栏,且通常通过将伪造结构置于请求之前来实现。值得注意的是,约有一半搜索成功的案例中,无需伪造结构即可找到良性文本绕过护栏。虽然清洁数据的AUROC下降不超过0.01,但非劣效性测试结果尚不明确。事实层面确认了攻击机制与防御效果,推断表明当前护栏架构存在系统性弱点,猜测则涉及未来可能出现的更隐蔽的无结构绕过手段。

推荐理由

揭示“目标重绑定”攻击机制,证明微调评分策略可将攻击成功率从75%降至1.6%,直接修正对现有安全护栏鲁棒性的判断。

来源:arXiv cs.CR · arxiv.org