LLM说服能力评估方法一致性弱且受拒绝行为影响
先了解这件事
2026年10月8日，一项新研究将九种已发表的自动化评估方法统一适配到相同设置中，在十五个大型语言模型上运行。结果显示，不同方法对模型说服能力的排名仅呈现微弱一致性（Spearman ρ = 0.25）。分析指出两个关键因素导致这种不一致：一是模型的任务拒绝行为，即模型在某些任务（尤其是操纵类任务）上拒绝执行而在其他任务上响应，直接降低了约四分之一的评估一致性；二是评测任务设定本身对结果有显著影响，表明当前广泛使用的说服性评估缺乏跨方法的稳定性，单一分数难以反映模型在不同场景下的真实表现。
AI 根据报道生成 · 3 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- arXiv cs.CLLLM 说服能力评估结果取决于评测任务设定而非模型本身
该研究将九种已发表的自动化方法统一适配到相同设置中，在十五个 LLM 上运行后发现，不同方法对模型的说服能力排名仅呈现微弱一致性（Spearman ρ = 0.25）。这一结果表明，当前广泛使用的说服性评估缺乏跨方法的稳定性，单一分数难以反映模型在不同场景下的真实表现。 分析指出两个关键因素导致这种不一致：一是模型的任务拒绝行为，即模型在某些任务（尤其是操纵类任务）上拒绝执行而在其他任务上响应，直接降低了约四分之一的评估一致性；二是通用能力的影响，大多数理性说服（非操纵）的方法能追踪模型的一般能力，而大多数操纵类方法则不能。这意味着评估得分实际上混合了模型的“说服能力”与“执行意愿”，而非单纯的能力度量。 事实层面，研究证实了现有自动化方法在统一测试下的一致性极低。推断层面，说服评分的数值更多反映了评测任务的具体设定（如是否包含操纵指令），而非模型固有的说服属性。猜测层面，由于仅分析了八种可用方法，这一模式可能具有局限性，但足以提示开发者在构建对齐或安全系统时，不能仅依赖单一的自动化说服分数作为决策依据，需结合具体任务上下文进行多维评估。
本事件热度走势
当前热度 9·可比范围峰值 9（10月8日 14:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。