Liquid AI 发布 LFM2.5-24B-A2B:2B 激活参数的端侧推理模型在工具使用任务中超越 Qwen3.6-35B-A3B
Run fast, private agents on-device with LFM2.5-24B-A2B
Liquid AI 于 10 月 13 日发布 LFM2.5-24B-A2B,这是一款专为端侧快速、私密 Agent 设计的 24B 参数推理模型,其核心特性在于仅通过 2B 激活参数即可运行,实现了类似 MoE 架构的高效推理。该模型在多个工具使用和 Agent 工作流基准测试中表现优异,特别是在 LiveClaw 和 AutomationBench 等指标上,得分显著高于参数量更大的 Qwen3.6-35B-A3B。
具体数据显示,LFM2.5-24B-A2B 在 16 个涵盖工具使用、知识、指令遵循、数学和编码的基准测试中,与 Qwen3.6-35B-A3B、Gemma-4-26B-A4B-it 和 Nemotron-3.5-Lightning 进行了对比。在工具使用和 Agent 相关的八个基准中,LFM2.5-24B-A2B 在五个基准(AutomationBench, BFCLv4, ToolSandbox, LiveClaw, τ³-Bench Banking)上领先或持平,其中 AutomationBench 得分是次优模型的三倍以上。同时,它在所有三个指令遵循基准上也处于领先地位。然而,在 GPQA Diamond、HLE 和 AA-Omniscience 等知识密集型基准以及 SWE-Bench Verified (OpenCode) 和 SciCode 等编码基准上,更大的模型仍保持优势。
该模型基于 LFM2-24B-A2B 构建,保留了 40 层、每 MoE 块 64 个专家、top-4 路由及混合门控短卷积与 GQA 的架构。上下文窗口从 32K 扩展至 131K,词汇量翻倍至 128K。训练数据从约 17T tokens 扩展至约 33T tokens,并增加了针对推理、数学、代码、指令遵循和多语言文本的中期训练数据。在推理速度方面,LFM2.5-24B-A2B 在 Apple M5 Max 上达到 184 tok/s,在 NVIDIA B300 GPU 上可达 21K output tok/s,是目前同类模型中最快的。
事实:LFM2.5-24B-A2B 已开源,支持 llama.cpp、MLX、vLLM、SGLang 和 ONNX 等推理框架。 推断:该模型的低激活参数和高推理速度使其非常适合在资源受限的设备上运行复杂的 Agent 任务。 猜测:未来可能会有更多针对特定场景微调的版本出现。
LFM2.5-24B-A2B 以 2B 激活参数实现 MoE 速度,在工具调用与指令遵循基准上超越 Qwen3.6-35B-A3B,为端侧 Agent 提供低成本推理方案。
来源:Hugging Face Blog · huggingface.co