提出LocalAlign对抗训练防御提示注入

该论文指出当前大模型提示注入防御主要依赖微调以区分可信指令与不可信数据，但这类方法在面对真实场景中诱导出的响应与正确响应高度接近的情况时泛化能力不足，因为现有训练仅针对固定的手工构造攻击目标，导致决策边界过于宽松。作者提出 LocalAlign 框架，利用提示词和单次推理步骤自动生成“近错”对抗样本，即嵌入在数据中的指令能诱导模型产生偏离正确结果但仍看似合理的错误响应，从而迫使模型学习更紧密的鲁棒性边界。 为了解决生成样本质量参差不齐的问题，研究进一步引入了一种边际感知对齐算法（margin-aware alignment algorithm），量化每个样本与正确响应的距离，并赋予更接近正确结果的样本更高的训练权重。这种机制确保模型不仅拒绝明显的恶意指令，还能对微小的响应偏移进行显式惩罚，从而提升在复杂现实场景下的防御效果。该方法的核心创新在于改变了对抗样本的生成逻辑，从“制造明显错误”转向“制造难以察觉的错误”。 事实层面，该研究基于 arXiv cs.CR 发布，提出了新的训练范式而非直接修复特定漏洞；推断层面，这种基于边际权重的训练方式可能增加对齐阶段的计算成本，但有望降低对大量人工构造攻击数据的依赖；猜测层面，若该框架被主流模型采纳，可能会推动行业从静态防御向动态自适应防御迁移，但目前尚未看到其在工业级大规模部署的实证数据。