AWS Machine Learning Blog· Ananth Raghavendra·· 3 小时前AI 评分42
AWS 发布 Ray LLM Deep Learning Containers 支持多节点推理
Run multi-node inference workloads using Ray LLM Deep Learning Containers
AI 摘要
AWS 推出 Ray LLM Deep Learning Containers，可在 Amazon EKS 上将单个大语言模型部署在两个 GPU 节点上，通过分离预填充（prefill）和解码（decode）阶段实现多节点推理。
来源：AWS Machine Learning Blog · aws.amazon.com