提出CertMoE框架用于MoE大模型鲁棒性认证

该论文指出 Mixture-of-Experts (MoE) 大语言模型的输入依赖路由机制破坏了现有可证明鲁棒性框架的前提假设，因为传统方法假设计算图固定，而 MoE 的动态路径会导致认证对象从单一函数变为子函数的组合，从而产生不可靠的保证。作者提出了 CertMoE，这是首个显式考虑输入诱导路由动态性的 MoE LLM 鲁棒性认证框架。 核心机制在于引入了一种放松的路由包含准则（relaxed routing-containment criterion），用于认证扰动后的 Top-K 路由被包含在一个更大的已认证专家池中。基于此保证，CertMoE 构建相应的诱导子网络并验证其预测一致性。这种分层认证程序在路由包含和子网络鲁棒性上提供了联合概率保证，确立了原始预测保持不变的充分条件。实验显示，动态路由使得现有方法的证书违反率经常超过 30%，而 CertMoE 将实证违反率降至 0。 事实层面，该研究通过 arXiv cs.CR 发布，证明了动态路由是 MoE 模型安全认证的关键盲区。推断层面，这意味着当前针对 MoE 架构的安全评估工具若未适配路由动态性，其提供的“鲁棒性”结论可能完全无效。猜测层面，随着 MoE 成为主流架构，未来行业可能需要重新定义或升级现有的对抗攻击与防御基准测试标准，以纳入对路由稳定性的考量。