MoE 模型预填充专家缩减导致短回答 F1 下降的关键位置分析

该研究通过干预实验定位了混合专家（MoE）模型在预填充阶段减少路由专家数量时的具体损伤机制，发现这种旨在降低服务成本的简化操作会显著损害短问答任务的 F1 分数。在四个 MoE 家族中，当专家数量减半时，三个家族的损失主要表现为回答形式截断，即模型能定位答案但输出过短。这种损伤并非均匀分布，而是高度集中在提示词（prompt）的特定敏感位置。

证据细节显示，在 Qwen3-30B-A3B 中，损伤主要发生在答案前的两个聊天模板 token；而在 DeepSeek-V2-Lite 中，损伤集中在前 8-32 个 prompt token，即指令所在区域。按答案似然度计算，这些位置分别贡献了约一半和五分之一的总损伤。尽管恢复超级专家或巨大激活值仅能挽回约四分之一的损失，远低于保持敏感位置完整专家的路径，但实验表明，若将全量专家资源精准分配给任务接口处的少量 token（约占总数 4%），F1 分数可保持在未修改模型的 1 分以内，而随机分配则会导致额外 3 分的下降。

事实层面，该研究确认了敏感 token 始终位于单轮提示词的结尾或指令起始处，且 DeepSeek 的损失在指令移开后不再可检测。推断层面，这意味着现有的通用规则（如“保留末尾”）可能无法区分是读取应用标记还是保护关键指令，需要更精细的调度策略。猜测层面，由于首 token 时间（Time to first token）在长提示（11K tokens）下下降了 14%，而在短提示（2K tokens）下无变化，这种优化策略对长上下文服务的延迟收益可能存在阈值效应，实际部署需权衡精度损失与延迟收益。