NVIDIA Nemotron 3.5 Super VL 在 AWS EKS 与 SageMaker HyperPod EKS 的部署架构与性能评估

AWS 官方博客宣布 NVIDIA Nemotron 3.5 Super VL 已加入 AWS 平台，该模型为 120B 参数的混合专家（MoE）架构，每 token 激活 12B 参数，支持文本、图像、文档和视频理解，并可在 Amazon EKS、EKS Auto Mode 和 SageMaker HyperPod EKS 上部署。

材料披露了关键性能指标：Hermes Bench 得分 63.44%，LangChain agent 评估 87.05%，CharXiv 图表推理基准 80.8%。架构采用混合 Mamba-Transformer MoE，结合 RADIO 视觉编码器，上下文窗口达 1M tokens。最小 GPU 配置显示，使用 B200/GB200 时 BF16 需 8 卡、NVFP4 需 2 卡；H200 需 8 卡 BF16 或 4 卡 NVFP4。

事实层面，文章提供了在 p6-b200.48xlarge 和 p5en.48xlarge 实例上的验证方法，包括 NCCL all-reduce 微基准测试和 aiperf 工具测量 TTFT、ITL 及吞吐量。推断层面，通过并发扫描图可判断聚合与解耦部署的延迟差异，从而规划容量。猜测层面，若用户未进行精度优化（如 NVFP4），实际成本可能高于预期，且长上下文推理的显存占用仍受限于全量权重存储。