跳到正文
原文
Hugging Face Blog·· 18 小时前精选AI 评分92

Mistral Large 4 以 1T 总参数和 49B 激活参数发布,支持 1M 上下文窗口

Welcome Le Chonk: Mistral Large 4 on Hugging Face

AI 导读

Mistral 在 Hugging Face 发布了名为 Le Chonk 的多模态大语言模型 Mistral Large 4,该模型采用混合专家(MoE)架构,拥有约 1T 总参数和 49B 激活参数,上下文窗口达到 1M tokens。模型支持文本和图片输入,并提供了 FP8 NVFP4 官方变体以及 Unsloth 和 llama.cpp 团队制作的 GGUF 量化版本。

在性能方面,Mistral Large 4 在 Artificial Analysis Cyber Index 测试中取得了 82% 的得分,能够复现开源软件漏洞并进行修复,这一表现优于许多拒绝此类任务的闭源模型。在编码能力上,DeepSWE v1.1 得分为 61.7%,Terminal-Bench 4 得分为 28.3%。此外,模型还集成了 Pixtral 视觉编码器,并支持通过 TRL 进行微调。

部署支持方面,模型原生支持 Transformers、vLLM 和 llama.cpp。NVFP4 量化版本专为 NVIDIA Blackwell GPU 设计,可显著降低显存占用。在 Inference Endpoints 上,使用 8 x NVIDIA H200 GPU 部署时,对于 1K-token 提示词的首次 token 生成时间约为 0.6 秒,生成速度可达 65 tok/s。该模型遵循 Mistral Ecosystem Open-Weight License 协议分发。

推荐理由

材料披露了 1T 总参数与 49B 激活参数的 MoE 架构及 NVFP4 量化方案,为端侧部署和推理成本估算提供了关键工程依据。

来源:Hugging Face Blog · huggingface.co