CodeSpear利用GCD诱导LLM生成恶意代码

这篇论文指出广泛采用的语法约束解码（GCD）技术存在反直觉的安全风险：攻击者只需施加良性代码语法规则，即可诱导大语言模型（LLM）生成恶意代码。作者提出了名为 CodeSpear 的新型越狱攻击方法，在 10 个流行 LLM 和 4 个基准测试上的实验显示，该方法平均将攻击成功率提升了超过 30 个百分点，显著优于现有的代表性越狱基线。 针对这一漏洞，作者设计了 CodeShield 安全对齐方案。该方案通过在 GCD 环境下训练模型生成语义无害但结构多样的蜜罐代码（honeypot code），使模型在面对攻击者控制的语法规则时仍能拒绝执行恶意请求。这种策略利用了蜜罐代码的结构多样性来抵抗语法的进一步收紧，同时保留了在自然语言可用时的直接拒绝能力。实验表明，CodeShield 能在恢复安全性的同时维持模型的良性效用。 事实层面，本文确认了 GCD 作为可靠性工具可能转化为攻击面的机制，并验证了 CodeSpear 和 CodeShield 的有效性。推断层面，这意味着当前依赖 GCD 提升代码生成可靠性的工程实践必须重新评估其安全边界，单纯依靠语法校验无法防止恶意代码生成。猜测层面，未来其他基于约束的解码或生成控制机制也可能面临类似的“约束即攻击”风险，需要建立更通用的对抗性防御框架。