SafeStart 论文指出 MoE 模型服务中的专家削减会削弱安全拒绝能力并给出修复方案

该论文发现当前加速 Mixture-of-Experts (MoE) 大语言模型服务的专家削减方法虽然提升了推理速度，但会显著削弱模型对有害请求的拒绝能力。在 vLLM 框架下，当保留约三分之二的选定专家时，离线解码速度提升 15% 至 28%，但在特定越狱攻击下，Qwen1.5-MoE、OLMoE 和 DeepSeek-V2-Lite 三个模型中有害请求的回答比例分别上升了 18.4、9.5 和 6.6 个百分点，而 MMLU 准确率下降不足两点。

作者通过实验定位到风险主要集中在处理提示词及生成前八个 token 的阶段，因此提出 SafeStart 机制：在响应开始时运行所有专家，后续阶段再切换为减少后的专家集合，并通过 vLLM 融合内核实现。测试显示，该方法在保持至少 85% 的速度增益的同时，将上述三种专家削减方法下的有害回答变化控制在 -2.1 至 +1.3 个百分点之间，且在 889 个预留请求的分析中，其表现优于截断策略（后者导致合规率上升 5.8 至 21.4 点）。

事实层面，该研究证实了现有加速手段存在未被充分评估的安全代价，且风险集中在生成初期；推断层面，这意味着在启用任何 MoE 加速服务前，必须将拒绝能力测试纳入基准，而非仅关注准确率；猜测层面，若行业广泛采用此类优化而不引入类似 SafeStart 的机制，可能导致大规模部署中出现隐蔽的安全漏洞。