Mesh Applied 发布 Qwen3.8-Flash-Next NVFP4 在单卡 RTX 6000 Pro 上实现 184 tok/s 推理

Mesh Applied 发布了基于 Qwen3.8 架构的 Qwen3.8-Flash-Next NVFP4 模型，专为在单张高显存消费级显卡上运行复杂 Agent 任务而设计。该模型采用 NVFP4 量化技术，在单张 96GB VRAM 的 RTX 6000 Pro 上实现了约 184 tok/s（并发=1）至 334 tok/s（并发=4）的解码速度，并在数学和编码能力上略优于 Gemini 3.8-Flash 和 Claude Opus-4.6。

性能数据基于单张 GeForce RTX 5090 32GB 和 RTX 6000 Pro MaxQ 96GB 卡的实测结果，其中前者在并发=4时可达 686 tok/s。作者强调该模型针对标准 RAG、个人 Agent 及轻量编码任务优化，旨在通过减少 PCIe 限制和内核不可访问等瓶颈，将“焦耳到预测”的供应链缩短。在自托管场景下，每百万输出 token 的服务成本低于 0.01 美元，但作者明确表示未进行持续负载的成本估算。

事实层面，该模型已开源至 Hugging Face，并配套了 Github 上的内核扩展框架；推断层面，这种针对特定硬件配置（如 96GB 显存）的深度优化表明行业正从单纯追求参数规模转向关注单位时间内的任务完成效率；猜测层面，若此类低延迟、低成本方案被广泛采纳，可能会加速私有化 Agent 在本地环境的部署，但具体能否替代云端大模型仍取决于实际业务对精度的容忍度。