Heads of Security 通过学习的注意力门控提升提示注入鲁棒性

这篇论文提出 Heads of Security (HoS)，一种通过少量学习的每头注意力门控来强制指令与数据分离的提示注入防御机制。该方法让模型学习如何重新分配对可信与不可信 token 的注意力，使其能在不遵循注入指令的前提下处理不可信内容。评估显示，HoS 在 Llama-3.3-70B-Instruct 和 GPT-OSS-20B 上相比 SecAlign++ 和 ASIDE 展现出更强的自适应攻击鲁棒性，同时在标准效用基准测试中表现更优。

具体证据方面，面对黑盒 RL-Hammer 攻击，GPT-OSS-20B 的攻击成功率（ASR）为 97%，SecAlign 为 85%，而 HoS 仅为 10%。针对白盒 Claudini 攻击，强化后的版本需要消耗 3 倍 FLOPs 才能达到与基座模型或 SecAlign 相同的 ASR。此外，HoS 在多项选择题基准和提示设置中保持了基座模型的效用，而 SecAlign 和 ASIDE 在少样本设置下出现性能下降，ASIDE 在工具使用场景中的效用甚至低至 10%。

事实层面，该研究证明了通过针对性的注意力干预可以实现并提升提示注入的鲁棒性。推断层面，这种架构级的防御可能成为未来大模型安全对齐的新范式，减少对全量微调的依赖。猜测层面，HoS 的具体部署成本及在复杂 Agent 工作流中的长期稳定性仍需进一步验证，目前仅基于静态攻击基准的测试结果。