论文发现微调后的混合专家大语言模型存在可恢复的路由结构记忆漏洞

该论文指出混合专家（MoE）大语言模型在分布式部署中存在一种名为“结构记忆”的新型安全漏洞，即模型不仅记忆训练数据，还会固化处理数据的内部专家路由路径，形成独特的训练过程路由指纹。这种特征可通过模型的无条件生成仅利用路由和输出logits进行隐蔽恢复，无需知晓微调数据或具体流程。

实证证据显示，即使仅有少量样本，结构记忆也会一致出现，且强度受可训练模块选择影响。在联邦学习、边缘云系统及多租户监控等场景中，信任边界处的路由信息暴露会放大此风险。传统基于成员推断的指标无法识别这些结构化路径对应的记忆数据，导致防御盲区。作者提出结合参考模型尾部似然与复杂度感知归一化的复合指标，显著提升了检测能力。

事实层面，该研究确认了MoE架构中路由路径的可恢复性及其在分布式环境中的放大效应；推断层面，这意味着攻击者可在缺乏训练数据的情况下，通过观察系统组件的路由模式定位关键专家并实施路由器操纵或后门注入；猜测层面，当前主流的安全评估工具可能因忽略路由维度而低估MoE模型的实际风险，需重新审视其对齐与防御机制的有效性。