AWS SageMaker AI 发布多轮强化学习教程，20B 模型以 339 美元完成 Wordle 游戏微调

AWS 在 SageMaker AI 上推出 Multi-Turn Reinforcement Learning (MTRL) 服务，通过端到端教程展示了如何训练策略模型处理依赖历史状态的多步决策任务。该方案利用 Amazon Bedrock AgentCore 托管智能体环境，将 GPT-OSS-20B 模型在 Wordle 游戏中的解决率从 61% 提升至 84%，总训练 Token 成本约为 339 美元。

核心机制在于使用 Group Relative Policy Optimization (GRPO) 算法和 LoRA 适配器，仅依据最终结果（如游戏胜负）而非中间步骤进行反馈。文章详细拆解了定价结构：训练成本主要由 Train 维度的反向传播 Token 主导，占总支出的近 70%，而 Prefill 和 Sample 维度分别占约 17% 和 14%。此外，AgentCore 运行时需额外支付约 79 美元的 vCPU 和内存费用。这种按 Token 计费的无服务器架构使得用户无需预置实例，但长轨迹任务的成本会随推理步数线性增长。

值得注意的是，训练过程中的监控指标存在显著偏差。MLflow 显示的验证集解决率在温度设为 0 时仅为 37%，但这被证实是贪婪解码导致的评估失真；在实际服务设置（温度 1.0）下，模型表现远优于训练曲线所示。作者强调必须在使用时的采样设置下进行最终评估，否则无法准确反映模型的真实泛化能力。同时，奖励函数设计需严格区分结果导向与过程塑形，避免中间步骤的累积奖励掩盖失败结局。

事实：GPT-OSS-20B 在低努力模式下训练，Token 消耗量级为亿级，总成本明确为 339 美元 +79 美元。 推断：对于内部工作流等特定场景，该低成本微调路径比通用大模型更具性价比。 猜测：若任务复杂度远超 Wordle，Token 消耗可能呈指数级上升，导致单位经济模型失效。