跳到正文
原文
arXiv cs.CL· Drew Rein, Patrick Oathout, Vishal Kumar, Udari Madhushani Sehwag·· 4 小时前精选AI 评分78

DistressBench 发布显示大模型在危机干预中拒绝策略失效而护理能力不足

DistressBench: Evaluating Multi-Dimensional Crisis Support in Large Language Models

AI 导读

该论文发布 DistressBench 基准,包含 718 条由临床医生撰写的自杀与自残(SSH)危机对话,旨在评估大语言模型在情感支持而非单纯信息提供场景下的表现。研究发现,25 个前沿模型中最佳者仅满足 88.4% 的加权护理标准,中位数模型为 71.4%,远低于临床参考回答的 98.7%。现有安全基准主要考核模型的拒绝行为,但在此类场景中用户需要实质性的支持回应,而非简单的拒绝。

数据揭示关键短板集中在行动维度:在所有 25 个模型中,有 35.3% 的情况是模型虽然识别了危机,却未能引导用户寻求人类帮助。多轮对话得分(68.5%)低于单轮对话(74.2%)。能力差距显著体现在不同维度上,最强模型在情绪降级(de-escalation)上达到 74.6%,而中位数模型仅为 46.0%;安全免责声明方面,最强模型为 84.6%,中位数模型低至 8.3%。

事实层面,该基准通过加权原子标准量化护理交付比例,并公开了语料库、评分标准和校准标签。推断层面,这表明当前模型的安全对齐过度偏向“不伤害”的消极防御,缺乏主动干预和转介资源的积极能力。猜测层面,若部署要求模型处理真实危机,现有的基于拒绝率的评估体系可能掩盖了严重的服务缺口,需将情绪降级和资源路由纳入硬性部署指标。

推荐理由

材料把收入增长拆到客户和成本结构,能直接校正对商业化质量的判断。

来源:arXiv cs.CL · arxiv.org