AWS 实测 SFT 与 GRPO 组合：GPT-OSS-20B 多语言推理微调指南

AWS 在 Amazon SageMaker HyperPod 上对 GPT-OSS-20B 进行了多语言推理微调，验证了监督微调（SFT）与组相对策略优化（GRPO）在不同场景下的效能差异。实验显示，针对该模型无法遵循非英语指令的问题，SFT 将推理语言正确率从 22% 提升至 100%，而 GRPO 仅能在回答语言正确率上带来约 8 个百分点的边际增益。

核心发现基于一个关键机制：GRPO 需要基座模型具备“有时能产生正确行为”的概率分布才能发挥作用。在 GPT-OSS-20B 实验中，SFT 解决了缺失行为（推理语言），GRPO 则优化了部分收敛的行为（回答语言）。为了验证这一结论的普适性，作者还引入了 Qwen2.5-7B 作为对照组，在 GSM8K 数学任务上进行测试。结果显示，当模型在 GSM8K 上的准确率已达 90.5% 且无提升空间时，GRPO 未能产生任何梯度信号或性能增益，证实了“没有提升空间就没有收益”的判断。

技术实施方面，文章详细记录了基于 Amazon EKS 和 Ray 的分布式训练架构，包括使用 vLLM 进行快速 rollout 生成、Amazon FSx for Lustre 共享存储以及 LoRA 适配器管理。对于工程团队而言，这意味着在资源受限的情况下，应优先投入 SFT 以填补能力缺口，仅在确认存在 headroom（如 pass@k >> pass@1）时才考虑引入 GRPO 进行精细化调优，避免无效算力消耗。