Mistral Small 3 发布：24B 参数模型以 Apache 2.0 开源并宣称比 Llama 3.3 70B 快 3 倍

Mistral AI 正式发布了 Mistral Small 3，这是一款参数量为 24B、采用 Apache 2.0 协议开源的预训练及指令微调模型。官方宣称该模型在保持与 Llama 3.3 70B 相当性能的同时，在相同硬件上的推理速度提升了 3 倍以上，并在 MMLU-Pro 基准测试中取得了超过 81% 的准确率，优于 GPT-4o-mini。

核心证据显示，该模型通过减少层数显著降低了单次前向传播的时间，从而实现了低延迟特性。图表数据显示，在 MMLU-Pro 评测中，Mistral Small 3 位于性能与延迟曲线的最优区间，其延迟低于 12ms/token，而 Qwen-2.5 32B 则接近 15ms/token。此外，官方强调该模型未使用强化学习（RL）或合成数据训练，定位为构建复杂推理能力的基座模型，而非直接具备 R1 类模型的思维链能力。

商业与技术推论方面，该模型明确指向了端侧部署场景，官方指出量化后可在单张 RTX 4090 或配备 32GB RAM 的 Macbook 上运行，适用于金融风控、医疗分诊等对隐私和实时性要求高的垂直领域。虽然官方列出了 Hugging Face、Ollama 等合作伙伴，但需注意这是基于内部评估和第三方供应商的对比结果，实际表现可能因具体硬件配置而异。目前该模型已上架 la Plateforme 平台，并计划接入 NVIDIA NIM 和 Amazon SageMaker 等更多基础设施。