IBM Granite Switch 4.1 发布:单端点支持对话、决策与语音的多模态切换
Granite Switch 4.1: Chat, Decisions, and Speech from One Endpoint
IBM 正式发布 Granite Switch 4.1 模型系列(8B 和 30B),该模型将自然语言对话、通用决策及语音识别(ASR)整合至单一端点。其核心在于集成了 Decision aLoRA、Guardian aLoRA 以及 OpenASR Leaderboard 上最快的 Granite-Speech-5.0-Turbo-CTC 模型。这一架构使得用户可以在不增加额外 GPU 显存占用的情况下,通过一个端点完成转录、摘要生成、有害内容筛查及多标签测试等复杂工作流。
技术细节显示,Switch 适配器采用缓存高效的 Activated LoRAs (aLoRA) 构建,允许基座模型生成的 KV Cache 被后续基于适配器的决策直接复用。结合 vLLM 的低秩适配器推理优化及共置 ASR 编码器,模型实现了极快的切换速度。实测数据显示,在运行包含 5 步 RAG 的工作流时,Granite-Switch-4.1-30B 比竞品 Jev-27B 更快;而在游戏控制场景中,自定义的 3B 参数版本能以每秒 60-100 次的决策速度运行 Doom 游戏,远超 Jev 报告的 10 次/秒,且能同步进行语音叙述。
事实层面,该模型已开源并附带 Granite Libraries 仓库,允许社区自由组合适配器。推断层面,这种模块化设计显著降低了多模态应用的部署门槛,特别是对于显存受限的场景。猜测层面,随着 Adapter SDK 的推出,未来可能出现更多针对特定垂直领域的第三方定制适配器,进一步扩展其在边缘计算场景的适用性。
通过 aLoRA 复用 KV Cache 实现多任务切换,为低显存部署提供可验证的架构方案。
来源:Hugging Face Blog · huggingface.co