arXiv cs.AI· Hyojung Han, Ryangkyung Kang, Youngeun Kim, Seung-Hun Jeon·· 5 小时前AI 评分72
文本嵌入模型量化校准的剂量驱动崩溃与验证门控 abstention 机制
When PTQ Calibration Helps or Hurts: Dose-Driven Collapse and Validation-Gated Abstention in Quantized Text Embedders
AI 摘要
该研究通过161次校准实验发现,文本嵌入模型的训练后量化(PTQ)校准并非总是有益,其效果取决于更新剂量(D_func),同一学习率网格在EmbeddingGemma上可导致从+1.47到-71.53点的NDCG@10剧烈波动。这种性能崩塌是可学习校准过程的固有属性,而非检索监督标签的问题,且不同目标函数对剂量的敏感度存在异构性。
针对这一风险,作者提出一种预注册的验证门控规则:仅在每查询配对置信区间清除未校准基线时才接受检查点。该规则在30次决策中从未选择低于基线的检查点(0次有害选择),保留了8/11的有益更新,但付出了平均1.52点的Oracle遗憾代价,其中一次放弃机会导致损失11.13点,体现了安全与机会的权衡而非免费改进。
事实层面,e5模型在排名校准下比余弦目标更稳健,而BGE-M3的结果方向相反但未决;推断层面,校准应被视为可选干预而非标准步骤;猜测层面,标签效率仍是开放问题。产业链需重新评估端侧部署中量化流程的自动化策略,不能默认PTQ校准必然提升性能。
来源:arXiv cs.AI · arxiv.org