跳到正文
原文
Hugging Face Blog·· 3 小时前精选AI 评分87

LiquidAI 发布 LFM3:六款 2B 级多模态模型统一共享骨干并支持端侧部署

Build specialized multimodal models with LFM3

AI 导读

LiquidAI 正式推出 LFM3 系列,包含 LFM3-1.7B(文本)、LFM3-VL-2B(视觉)、LFM3-Audio-2B(音频)、LFM3-Omni-2B(全模态)以及 d1-2B 和 d1-omni-2B(决策),所有模型均基于同一 1.7B 参数的基础骨干构建,旨在实现从通用大模型向端侧专用智能体的迁移。

架构层面,LFM3-1.7B-Base 采用三混合层结构(Tri-hybrid architecture),由 13 个门控短卷积、5 个滑动窗口注意力(SWA)层和 6 个全局注意力层组成,预训练数据达 22T tokens,并在最后 3.5T tokens 阶段引入代理轨迹(agentic traces)以扩展上下文至 256K。相比前代 LFM2,该架构在保持性能的同时减少了 35% 的参数量;在 8K 上下文中推理速度提升约 25%。此外,Vision 和 Audio 编码器均为自研,分别比 SigLIP2 节省 3 倍计算量,且 Audio 编码器支持流式解码,首字延迟低至 50ms。

事实层面,各模型已在 Hugging Face 开源权重并提供 transformers 代码库支持,其中 Omni 模型支持视频输入与语音输出,d1 系列则专注于结构化决策而非生成式文本。推断层面,这种“一基座多分支”的设计允许开发者针对特定任务(如机器人导航或医疗问答)在单 GPU 上进行微调,从而降低端侧部署门槛。猜测层面,虽然官方未明确提及具体的商业变现模式,但强调“专用化”暗示其可能面向企业级垂直场景而非通用消费级应用。

推荐理由

LFM3 通过共享骨干将文本、视觉与音频统一在 2B 参数内,配合自研编码器与 d1 决策模型,为端侧 Agent 提供了可单卡微调的专用化路径。

来源:Hugging Face Blog · huggingface.co