零训练利用EmbeddingGemma-2的256维零空间将其音频基准排名从第26名提升至第1名

BrunoHays提交了一个针对Google EmbeddingGemma-2 (577M) 的实验，在不进行任何模型微调的情况下，仅通过主成分分析（PCA）将中间Conformer层的特征注入模型最终投影矩阵的256维零空间中，使其在MAEB音频基准上的宏观得分从49.3%跃升至54.4%，排名从第26位飙升至第1位，超越了8B至9B参数的多模态模型。

该实验的核心机制在于EmbeddingGemma-2的文本主干隐藏层大小为512，而终端投影矩阵W将维度映射为768，导致存在一个由SVD分解得出的256维正交零空间，文本向量在此空间内无分量。作者利用外部音频数据对Layer 2和Layer 6进行PCA压缩并填充至该零空间，实现了文本嵌入的比特级不变性，同时显著提升了性别聚类、艺术家检索和情感分类等纯音频任务的表现。然而，这种固定特征的注入也带来了副作用：由于归一化后语义分量被轻微压缩，涉及说话人意图或话题分类的任务（如SIBFLEURS和MInDS14）得分出现下降，且因未引入Matryoshka结构，无法再使用截断选项来优化存储。

事实层面，该方案证明了即使对于经过过度训练的基座模型，其内部未被充分利用的几何空间仍蕴含大量可提取信号；推断层面，若后续允许仅在正交子空间U_perp上进行受限训练，性能上限可能更高；猜测层面，这种无需重训的特征注入策略可能成为低成本适配特定领域（如语音情感分析）的通用工程手段，但需警惕其对原有语义对齐能力的潜在侵蚀。