NVIDIA 发布 Nemotron 3.5 系列:Super VL 以 120B 参数对标最强推理模型,Bolt 系列支持端侧部署
Open From Data Center to Desktop: NVIDIA Expands Nemotron Family With Highest Efficiency Super VL and Bolt Models
NVIDIA 今日发布了 Nemotron 3.5 系列的三款新模型,包括主打高精度与速度的 120B 参数开源模型 Nemotron 3.5 Super VL,以及两款针对边缘设备的 Bolt 模型。Super VL 旨在解决企业级智能体任务,声称在人工分析指数(Artificial Analysis Intelligence Index)上比同类模型快 5 倍;Bolt 74B-A9B 和 Bolt E4B 则分别针对 24GB 和 4GB 显存环境进行了优化,前者用于平衡智能与速度,后者用于快速对话。
技术细节显示,Super VL 的参数量约为 NVIDIA 最大推理模型的 1/5,但精度相当,其训练数据包含约 26 万亿 tokens,并配合开放数据集与 NeMo Gym 强化学习环境。Bolt 74B-A9B 采用原生 2-bit 量化技术以适应 24GB 内存限制,在 PinchBench 等基准测试中表现优异。这些模型不仅提供权重,还配套了 NIM 微服务包,宣称在 NVIDIA Dynamo 架构上可实现 8 倍用户承载量提升及 85% 延迟降低。
事实层面,该系列模型已覆盖从数据中心到桌面端的完整硬件栈,包括 DGX Spark、Jetson 及 GeForce RTX 显卡。推断层面,NVIDIA 正试图通过这种分层策略消除企业在“能力”与“可部署性”之间的权衡,特别是通过开放权重允许组织进行私有化微调以应对合规需求。猜测层面,虽然文中列举了 Scale AI、CrowdStrike 等数十家机构的定制案例,但这更多展示了生态潜力而非实际的大规模商业落地现状。
材料披露了 Super VL 在 120B 参数下实现接近最大推理模型的精度,以及 Bolt 系列通过 2-bit 量化适配本地显存的工程细节。
来源:NVIDIA Blog · blogs.nvidia.com