LLM中注意力与MLP层安全机制分工研究

该研究通过追踪残差流更新，在大语言模型中分离了“危害识别”与“拒绝生成”两个计算过程，发现有害信息在早期层的注意力更新中更易被解码，而经过对齐训练的模型中，MLP更新对选择性拒绝的生成贡献更强。这一发现将原本模糊的安全失败归因于具体的模块分工，而非整体模型的随机失效。 实证数据显示，在18个涵盖Qwen、Llama和Gemma的Base-Instruct配对中，后训练显著增强了深层MLP的拒绝写入能力，但并未系统性地提升危害的可解码性；在6个具备推理能力的模型中，危害信号在推理过程中持续可解码，而强烈的拒绝写入则集中在答案生成的起始阶段。基于此，作者提出的Sentinel框架结合注意力派生的感知分数P与MLP派生的决策分数D，通过双信号条件路由在八个模型上实现了比单一信号或固定提醒更低的综合错误率。 事实层面确认了Transformer架构内部存在明确的功能分区：注意力机制主导特征提取与危害感知，MLP主导最终的行为输出控制。推断层面表明，现有的对齐训练主要优化了MLP的输出行为，而未根本改变底层对危害特征的表征方式，这解释了为何单纯增加训练数据难以完全消除幻觉式拒绝。猜测层面，这种分层机制可能意味着未来的防御策略应侧重于实时监测注意力层的异常激活模式，而非仅依赖输出端的过滤规则，但这需要进一步在端侧部署环境中验证其延迟与成本影响。