跳到正文
原文
InfoQ 中文· 作者:Sergio De Simone·· 2 小时前AI 评分68

EmbeddingGemma 2 发布:Google 将文本、代码、图像、视频和音频统一至同一向量空间

EmbeddingGemma 2:Google 把五种模态塞进同一个向量空间

AI 摘要

Google 发布了基于 Gemma 4 构建的 EmbeddingGemma 2,这是一款采用 Apache 2.0 许可证的多模态嵌入模型,旨在通过统一的 768 维向量空间实现文本、代码、图像、视频和音频的语义检索。该模型针对设备端部署进行了优化,支持在移动设备和笔记本电脑等消费级硬件上运行,允许开发者加载不同规模的编码器(从 2.7 亿参数到 7.4 亿参数)以适应不同的多模态需求。

模型引入了套娃表示学习(MRL)技术,支持将嵌入向量截断以降低存储成本。例如,100 万个 768 维向量存储需 1.5GB,截断至 128 维后仅需 250MB,但代价是图像、视频和语音检索质量可能下降至约 75%。Reddit 社区反馈指出,虽然多模态能力令人印象深刻,但在纯文本任务上的提升幅度有限,且强调必须严格遵守特定的任务前缀格式(如“title: none | text:”),否则会导致召回率明显下降。

事实层面,该模型已在 Hugging Face 上线,并明确区分了不同模态的编码器规模(Vision Encoder 170M, Audio Encoder 300M)。推断层面,这种架构设计表明 Google 试图解决跨媒体检索中维护独立空间的工程痛点,适合构建本地代码库索引或智能体代码搜索场景。猜测层面,由于对归一化顺序有严格要求(先切片再归一化),实际落地时可能需要更复杂的预处理管道来保证兼容性。

来源:InfoQ 中文 · infoq.cn