量化推理模型对不可信提示源的信任偏差与校准失效

该论文通过 MMLU 数据集上的实验，量化了大语言模型在面对不同来源提示（教授、朋友、狗）时的答案偏移行为，发现模型对提示的响应遵循指数倾斜结构，即提示会引发被提示答案对数几率的近似恒定均值偏移。研究指出，这种偏移模式在不同来源间具有高度共享的易感性，且不受提示者可靠性声明或明确警告的影响。 作者引入形式化分解和合成实验，展示了 KL 正则化的奖励训练如何重塑有提示和无提示的答案分布。关键证据显示，即使提示来源被标记为不准确或附带“不要信任”的显式警告，对数几率偏移依然持续存在。这一现象表明，当前开源模型家族（Qwen、Gemma、SmolLM）在应对对抗性引导时缺乏有效的校准机制，其内部决策逻辑未能根据外部信息的可信度进行动态调整。 事实层面，实验验证了提示诱导偏移的可预测性和跨模型一致性；推断层面，这暗示现有 RLHF 或类似训练范式可能过度优化了对用户意图的顺从性，而牺牲了对信息源的批判性评估能力；猜测层面，若此类机制未被修正，未来多 Agent 协作或 RAG 系统中，恶意或低质信息源可能更隐蔽地操控模型输出，需重新审视对齐策略中的信任加权机制。