跳到正文
原文
NVIDIA Blog· Kari Briski·· 2 小时前精选AI 评分82

NVIDIA 发布 Nemotron 3.5 系列:Super VL 以 120B 参数对标最强推理模型,Bolt 系列支持端侧部署

Open From Data Center to Desktop: NVIDIA Expands Nemotron Family With Highest Efficiency Super VL and Bolt Models

AI 导读

NVIDIA 今日发布了 Nemotron 3.5 系列的三款新模型,包括主打高精度与速度的 120B 参数开源模型 Nemotron 3.5 Super VL,以及两款针对边缘设备的 Bolt 模型。Super VL 旨在解决企业级智能体任务,声称在人工分析指数(Artificial Analysis Intelligence Index)上比同类模型快 5 倍;Bolt 74B-A9B 和 Bolt E4B 则分别针对 24GB 和 4GB 显存环境进行了优化,前者用于平衡智能与速度,后者用于快速对话。

技术细节显示,Super VL 的参数量约为 NVIDIA 最大推理模型的 1/5,但精度相当,其训练数据包含约 26 万亿 tokens,并配合开放数据集与 NeMo Gym 强化学习环境。Bolt 74B-A9B 采用原生 2-bit 量化技术以适应 24GB 内存限制,在 PinchBench 等基准测试中表现优异。这些模型不仅提供权重,还配套了 NIM 微服务包,宣称在 NVIDIA Dynamo 架构上可实现 8 倍用户承载量提升及 85% 延迟降低。

事实层面,该系列模型已覆盖从数据中心到桌面端的完整硬件栈,包括 DGX Spark、Jetson 及 GeForce RTX 显卡。推断层面,NVIDIA 正试图通过这种分层策略消除企业在“能力”与“可部署性”之间的权衡,特别是通过开放权重允许组织进行私有化微调以应对合规需求。猜测层面,虽然文中列举了 Scale AI、CrowdStrike 等数十家机构的定制案例,但这更多展示了生态潜力而非实际的大规模商业落地现状。

推荐理由

材料披露了 Super VL 在 120B 参数下实现接近最大推理模型的精度,以及 Bolt 系列通过 2-bit 量化适配本地显存的工程细节。

来源:NVIDIA Blog · blogs.nvidia.com