LLMON 框架通过结构化后训练消除大模型上下文指令与数据的混淆并显著降低注入攻击风险

该论文提出 LLMON（LLM Object Notation）方法，通过显式分离可执行指令与被动数据，解决大语言模型因统一处理所有上下文 token 而导致的提示词注入漏洞及执行控制不可靠问题。研究团队构建了包含 46 亿 token 的大规模结构化训练语料，涵盖通用、RAG 和工具调用场景，并在其中混入干扰指令与无关数据段进行增强训练。在 Granite-4.1 3B 和 8B 基座模型上完成监督微调与强化学习后，该方法将间接提示词注入基准测试的攻击成功率从 53%-100% 降至 0.02%-5.6%，同时保留了模型的通用能力。

证据细节显示，研究者引入了基于注意力的可解释性指标，能够诊断结构化输入下各 Transformer 层的失败模式，揭示了该方法如何重塑内部注意力模式以适配显式执行语义。实验表明，这种显式的执行语义可以通过标准后训练流程教授给模型，无需对模型架构进行修改。训练语料中特别设计了竞争指令和不相关数据段，迫使模型学会仅响应带有明确标识符的指令，从而在复杂上下文中实现精确的控制。

事实层面，该研究证实了通过特定数据分布的后训练可以显著提升模型安全性；推断层面，这意味着未来安全对齐可能不再依赖昂贵的架构重构或复杂的推理链设计，而是转向构建更精细的结构化指令数据集；猜测层面，若 LLMON 成为行业标准，可能会推动 RAG 和 Agent 系统在执行层面对指令来源进行强制校验，但具体落地效果需观察其在真实长上下文中的泛化表现。