提出Expected Harm指标重估LLM安全评估
先了解这件事
2026年11月2日，一项研究在arXiv上提出Expected Harm新指标，旨在重估大语言模型的安全评估。该研究指出，当前基于输出严重程度的评估方法错误地将输出等同于实际危害，忽略了真实世界的执行概率。实证分析发现存在系统性风险校准倒置现象：模型对低概率（高成本）威胁表现出过强拒绝，却对高概率（低成本）威胁保持脆弱。机制分析显示，线性探测表明模型的拒绝机制仅按严重程度分离查询，未利用执行概率作为判断依据。通过追踪Olmo-3开源分阶段检查点，研究发现校准偏差随训练阶段演变。
AI 根据报道生成 · 3 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- arXiv cs.CR精选论文提出Expected Harm指标并指出模型因SFT数据偏差导致对高概率威胁防御失效
该研究提出Expected Harm新指标，将模型输出的危害严重程度与真实世界执行概率（由执行成本建模）加权结合，指出当前基于严重程度的评估方法错误地将输出等同于实际危害。实证分析发现存在系统性风险校准倒置现象：模型对低概率（高成本）威胁表现出过强的拒绝行为，却对高概率（低成本）威胁保持脆弱。 机制分析显示，线性探测表明模型的拒绝机制仅按严重程度分离查询，未利用执行概率作为判断依据。通过追踪Olmo-3开源分阶段检查点，研究发现校准偏差的根源在于监督微调（SFT）训练数据的分布问题：82.8%的安全示例集中在成本等级0-1区间，导致模型从SFT阶段起就缺乏对成本的表征能力。这种校准偏差被证实为可利用的漏洞，通过针对性利用该特性，现有越狱攻击的成功率可提升高达2倍。 事实层面，研究确认了SFT数据中成本分布不均与模型拒绝行为不匹配的直接关联；推断层面，这表明单纯增加拒绝样本可能无法解决高风险场景的防御缺口，需重构训练数据策略；猜测层面，若行业继续依赖传统严重性基准，可能在部署阶段低估特定类型攻击的实际风险敞口。
本事件热度走势
当前热度 9·可比范围峰值 9（11月2日 15:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。