AWS SageMaker AI 发布无服务器模型定制训练会话,支持自定义后训练循环
Announcing new ways to customize models with SageMaker AI, without managing GPUs
Amazon SageMaker AI 今日正式发布训练会话(Training Sessions),允许开发者在不管理 GPU 基础设施的前提下,通过自定义代码控制后训练逻辑。该功能作为 Serverless Model Customization 的扩展,旨在解决构建 Agent 时多轮强化学习环境搭建复杂、基础设施管理繁琐的问题。用户可编写包含自定义损失函数或奖励信号的训练循环,由平台负责 GPU 分配、分布式执行及故障恢复。
在技术实现上,训练会话采用分离架构:用户的代码在本地环境运行采样器生成响应并计算奖励信号,而 GPU 密集型工作如梯度计算和权重更新则由平台端的 Trainer 处理。具体流程包括 sampler 生成响应、reward function 评分、forward_backward() 计算梯度以及 optim_step() 应用更新。目前支持 gpt-oss-20b、gemma-4-31B-it、Qwen3.6-27B 和 Qwen3.8-27B 等模型,并兼容 SFT、DPO、RLVR 及 LoRA 等技术。计费模式按 SageMaker AI 处理的 Token 数量结算,仅在采样阶段产生费用,评分阶段不占用容量且不需预留资源。
事实层面,该平台已集成至 SageMaker Studio 及主流 IDE,提供预置 Agent Skills 以辅助数据准备与评估;推断层面,这种架构将原本分散在不同集群的训练与推理步骤统一为单一会话,可能改变企业针对垂直领域进行高成本强化学习微调的经济模型。猜测层面,随着对自定义 Loss Function 的支持开放,未来可能出现更多基于特定业务场景的非标准优化算法落地,但具体实施效果仍需依赖用户自行编写的 reward function 质量。
SageMaker AI 将后训练逻辑控制权交还给开发者,同时屏蔽 GPU 运维细节,直接降低 RLVR 与多轮 Agent 训练的门槛。
来源:AWS Machine Learning Blog · aws.amazon.com