临床医生主导规则基护栏评估心理健康聊天机器人安全

1. 12:00
   arXiv cs.CL

   临床医生主导的规则基线将精神健康聊天机器人的安全判决从黑盒转为可验证事实

   该研究提出一种由临床医生定义、最终确定并裁决的安全检查规则库，作为覆盖在大型语言模型输出之上的护栏，以解决现有精神健康场景下LLM安全评估结果难以解释的问题。与传统依赖提示工程或LLM-as-a-Judge的方法不同，该方案通过形式化验证确保规则内部一致性，并将每个判决的可计算性锚定在16个具体事实与命名规则上。 实验数据显示，在Llama-3.3-70B模型作为裁判的场景中，当面对已包含危机资源的回复时，该模型仍会在84.6%的情况下错误要求提供资源（55/65），而基于事实提取器的同一模型能正确识别其中98.2%的情况（54/55）。引入验证层后，这种因缺乏事实依据导致的过度警报被完全消除。同时，该方案在减少虚假危机警报方面表现优于基准，但代价是过拒绝率上升：规范修订使边界提示下的拦截类结果从6.0%升至16.0%，主要源于事实提取机制的变化。 事实层面，本研究未声称提升了判决本身的准确性，而是构建了一个分歧可定位、成本可归因的护栏系统；推断层面，这意味着在高风险领域，可解释性可能比单纯的性能指标更具商业价值；猜测层面，若此类规则库需持续维护，其长期运营成本与组织激励结构将成为规模化落地的关键瓶颈。

当前热度 9·可比范围峰值 9（10月23日 14:00）·近 24 小时可比范围变化 –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。