现代文本嵌入器存在语义丰富但度量情感盲点

该研究指出当前主流文本嵌入器存在系统性分离现象：情感极性几乎可被线性探针以高达 91.3% 的准确率解码，但在余弦相似度等检索指标中却几乎不可见，极性分离边际仅为 0.003-0.064。这一发现基于 2021 至 2026 年间发布的十一个冻结编码器，包括 Qwen3-Embedding-4B，表明依赖度量的检索、聚类和去重系统实际上无法利用编码器已包含的信息。 证据显示这种盲区源于预训练目标而非提示词效应：将 Jina-v5 从检索任务调整为分类任务仅能恢复约一半的 MAP 增益（63.2 至 73.8），而直接注入标签则能达到 85.1。作者提出的 SISE 方法通过在冻结编码器上训练小型监督对比头，能在数秒内显著提升各编码器的探针准确率、检索 MAP 和极性边际，但这是以牺牲通用语义相似度性能为代价的 specialization，例如 128 维头部会导致 STS-B 上的 Spearman 相关性下降 38-41 点。 事实层面确认了现有嵌入器在特定任务上的度量失效；推断认为若不加修正，RAG 系统在涉及情感或态度敏感的场景下可能表现不佳；猜测部分指出未来模型设计可能需要显式解耦内容表示与任务优化目标，以避免此类“盲视”问题。