跳到正文
原文
AWS Machine Learning Blog· Clement Perrot·· 2 小时前精选AI 评分82

Reflection AI 发布 Beam 开源模型并在 AWS SageMaker 提供三种部署路径

Introducing Reflection Beam: an open-weight model for agentic coding on AWS

AI 导读

Reflection AI 发布了名为 Beam 的开源权重模型,专为代理式编码和长周期任务设计,该模型拥有 5010 亿总参数和 230 亿激活参数,有效上下文窗口达 100 万 token。AWS 在官方博客中详细介绍了如何在 Amazon SageMaker JumpStart 和 HyperPod Inference 上部署该模型,提供了从完全托管到 Kubernetes 原生控制的多种服务路径。

Beam 以稀疏混合专家(MoE)架构构建,支持 BF16、FP8 和 NVFP4 三种量化格式,分别对应不同的显存占用和硬件兼容性要求。文章明确指出了不同精度下所需的 GPU 实例类型:BF16 需要多节点配置,FP8 推荐使用 ml.p5.48xlarge (H100) 或 ml.p5e.48xlarge/ml.p5en.48xlarge (H200),而 NVFP4 则需搭配 NVIDIA B200 的 ml.p6-b200.48xlarge。这些细节揭示了大参数模型在云端的实际资源消耗门槛,特别是针对 H200 和 B200 等新一代芯片的依赖关系。

部署架构分为三个层级:SageMaker JumpStart 实时端点适合追求最短路径且无需管理 Kubernetes 的用户;HyperPod Inference 结合 JumpStart 可在 EKS 编排的集群上获得容器级控制;直接使用 SGLang 或 vLLM 则允许自定义运行时参数、量化策略和分布式执行逻辑。文章强调通过 HyperPod 的 Inference Operator 可实现模型缓存预热和智能路由,从而优化 KV cache 管理和请求分发效率。事实层面确认了 Beam 已在 JumpStart 上线于 US East 区域,推断其后续将扩展至更多区域,猜测该模型可能成为未来企业级 Agent 系统的基础组件。

推荐理由

材料披露 Beam 501B 参数下的显存与实例选型映射,直接校正对端侧部署成本与架构的预估。

来源:AWS Machine Learning Blog · aws.amazon.com