论文提出Expected Harm指标并指出模型因SFT数据偏差导致对高概率威胁防御失效

该研究提出Expected Harm新指标，将模型输出的危害严重程度与真实世界执行概率（由执行成本建模）加权结合，指出当前基于严重程度的评估方法错误地将输出等同于实际危害。实证分析发现存在系统性风险校准倒置现象：模型对低概率（高成本）威胁表现出过强的拒绝行为，却对高概率（低成本）威胁保持脆弱。

机制分析显示，线性探测表明模型的拒绝机制仅按严重程度分离查询，未利用执行概率作为判断依据。通过追踪Olmo-3开源分阶段检查点，研究发现校准偏差的根源在于监督微调（SFT）训练数据的分布问题：82.8%的安全示例集中在成本等级0-1区间，导致模型从SFT阶段起就缺乏对成本的表征能力。这种校准偏差被证实为可利用的漏洞，通过针对性利用该特性，现有越狱攻击的成功率可提升高达2倍。

事实层面，研究确认了SFT数据中成本分布不均与模型拒绝行为不匹配的直接关联；推断层面，这表明单纯增加拒绝样本可能无法解决高风险场景的防御缺口，需重构训练数据策略；猜测层面，若行业继续依赖传统严重性基准，可能在部署阶段低估特定类型攻击的实际风险敞口。