跳到正文
原文
arXiv cs.CR· Yitong Zhang, Shiteng Lu, Jia Li·· 2 小时前精选AI 评分82

Grammar-Constrained Decoding 可被利用为生成恶意代码的攻击面

Grammar-Constrained Decoding Can Jailbreak LLMs into Generating Malicious Code

AI 导读

这篇论文指出广泛采用的语法约束解码(GCD)技术存在反直觉的安全风险:攻击者只需施加良性代码语法规则,即可诱导大语言模型(LLM)生成恶意代码。作者提出了名为 CodeSpear 的新型越狱攻击方法,在 10 个流行 LLM 和 4 个基准测试上的实验显示,该方法平均将攻击成功率提升了超过 30 个百分点,显著优于现有的代表性越狱基线。

针对这一漏洞,作者设计了 CodeShield 安全对齐方案。该方案通过在 GCD 环境下训练模型生成语义无害但结构多样的蜜罐代码(honeypot code),使模型在面对攻击者控制的语法规则时仍能拒绝执行恶意请求。这种策略利用了蜜罐代码的结构多样性来抵抗语法的进一步收紧,同时保留了在自然语言可用时的直接拒绝能力。实验表明,CodeShield 能在恢复安全性的同时维持模型的良性效用。

事实层面,本文确认了 GCD 作为可靠性工具可能转化为攻击面的机制,并验证了 CodeSpear 和 CodeShield 的有效性。推断层面,这意味着当前依赖 GCD 提升代码生成可靠性的工程实践必须重新评估其安全边界,单纯依靠语法校验无法防止恶意代码生成。猜测层面,未来其他基于约束的解码或生成控制机制也可能面临类似的“约束即攻击”风险,需要建立更通用的对抗性防御框架。

推荐理由

揭示语法约束解码(GCD)本身构成攻击面,并给出通过蜜罐代码对齐的防御方案。

来源:arXiv cs.CR · arxiv.org