提出检测LLM对话中心理危害风险因素的方法

该研究提出一种新的评估范式，主张通过检测大语言模型输出中构成心理伤害风险因素的八种可观测行为，来替代无法直接监测的主观心理伤害本身。研究者构建了包含 47,062 个 AI 回复和 373,873 个回复 - 因子标签的合成多标签语料库，并针对验证与评估进行了针对性的人工标注。该方法仅依赖模型输出，无需访问内部状态，具有模型无关性。 在实测表现上，最佳级联分类器在保留的人类标注数据上实现了宏观精确率 0.86、召回率 0.76 和 F1 分数 0.79。相较于直接使用 LLM 进行判断，该级联方法在 WildChat 数据集上将 LLM 调用次数减少了 97.1%。此外，在 DelusionEval 数据集上的应用显示，风险因子检测信号在对话过程中呈现出聚类特征，支持纵向监控需求。 事实层面，该工作定义了八类风险行为并提供了相应的检测工具与基准数据；推断层面，这种基于行为的检测机制可能成为未来 AI 系统长期心理安全监控的标准组件；猜测层面，若行业采纳此标准，将推动从单次交互评估向全生命周期用户心理状态追踪的工程化转变，但具体实施效果仍取决于后续真实场景的验证。