AWS 教程：用 SeqKD 将 GLM-5.3 的购物 Agent 蒸馏进 Qwen3.5-4B 并实现性能对齐

AWS 发布基于 Amazon SageMaker AI 的序列级知识蒸馏（SeqKD）实战指南，演示如何将闭源前沿模型 GLM-5.3 生成的多步工具调用轨迹，蒸馏到开源小模型 Qwen3.5-4B 中。该方法利用 ShoppingBench 基准测试集作为筛选器，仅保留成功解决任务的轨迹进行监督微调，使 4B 学生模型在绝对成功率（ASR）上达到与教师模型相当的水平。

核心证据在于数据构建与评估细节：训练时采用温度参数 1.0 采样生成轨迹，并通过拒绝采样剔除失败样本，确保学生只模仿“最佳解”而非平均表现；实验显示，若剥离教师的推理过程仅保留工具调用，ASR 将从 0.541 降至 0.415，证明保留思维链对复杂 Agent 行为至关重要。最终结果中，蒸馏后的 4B 模型在 ShoppingBench 上的平均 ASR 为 0.541，不仅超越基线 24 个百分点，且与 GLM-5.3 采样版（0.511）和贪婪版（0.540）持平，同时仅在通用指令遵循能力 IFEval 上出现约 6-8 点的预期下降。

该方案揭示了从 API 计费转向自托管的经济逻辑：虽然蒸馏无法完全复制大模型的泛化能力（通用指令遵循略有下降），但能将特定领域的任务质量锁定在小模型的成本结构内。事实层面，4B 模型已能胜任原需 40B 活跃参数的任务；推断层面，这种“文本输出蒸馏 + 在线策略优化”的两阶段路线是降低 Agent 边际成本的有效手段；猜测层面，对于超出小模型容量的极端困难任务，单纯蒸馏可能失效，需结合强化学习等后续步骤。