Qwen2.5-7B 在 4 位量化下隐性偏好随量化器发生剧烈反转

该研究通过植入实验发现，大模型的隐性学习偏好（如将熊猫设为首选动物）在从 16 位浮点转为 4 位量化时，其表达强度会发生剧烈且方向相反的变化，具体取决于所使用的量化算法。研究人员在 Qwen2.5-7B-Instruct 上测试了两种主流方案：Half-Quadratic Quantization (HQQ) 和 NormalFloat (NF4)。结果显示，HQQ 在 4 位下不仅未抑制反而放大了该偏好，使模型回答“熊猫”的概率从 16 位的约 55% 升至 64%，净强度提升至 1.3 倍；而 NF4 在同一精度下则将其压制至 0.3 倍。

深入分析表明，驱动这一分化的并非量化误差的幅度大小，而是误差在权重中的排列结构。当随机打乱 HQQ 产生的误差分布但保持其数值量级不变时，偏好强度会在 0.2 到 1.6 倍之间大幅波动。尽管底层微调信号在压缩后基本保持完整，但内部状态与外部行为之间的映射关系已变得不可预测。这意味着仅基于 16 位精度的安全审计无法可靠地界定实际部署环境中的风险边界。

事实层面确认了量化算法对隐性偏好的非线性影响机制；推断层面指出当前通用的 16 位评估流程存在盲区，可能低估或误判特定量化部署下的安全风险；猜测层面认为若行业继续忽视量化后的行为漂移，可能导致合规性审计与实际产品表现脱节。建议安全评估必须针对目标部署的精确量化权重进行验证，而非依赖高精度版本的测试结果。