通过记录推导过程审计安全偏好监督的可复现性

这篇论文提出了一种名为符号偏好标注（Symbolic Preference Labeling）的方法，旨在解决大语言模型训练中标签背后的判断难以检查或验证的问题。该方法利用预训练语言模型对提示词和回复的属性进行分类，通过显式规则分配回复判决，并由固定的判决排名确定偏好标签。每个偏好标签都附带了记录推导过程，意味着无需重新运行语言模型即可根据存储的属性分配、规则和判决排名重新计算回复判决和偏好标签。

在200个由人类评分员标注的提示词上，该语言模型为192个提示词生成了有效的结构化输出，所有8次解析失败均发生在被标记为有害的自残提示词子集中。基于465个偏好对，作者使用直接偏好优化（DPO）在五个训练种子上训练了一个策略模型。结果显示，在1319个类似于不安全提示词的良性提示词上，平均测量的良性拒绝率为40.82%，而在655个有毒提示词上，平均测量的有毒拒绝率为84.98%。研究明确区分了偏好标签的可复现性与属性正确性：记录推导使偏好构建过程公开可查，但属性正确性和语义安全性仍需单独验证。

这一工作的核心事实在于它证明了偏好标签的生成逻辑可以被完全解耦并独立审计，而不依赖于模型的再次推理。推断是，这种机制可能成为未来安全对齐流程中的标准组件，用于排查模型为何产生特定拒绝行为。猜测的是，如果行业广泛采用此类方法，可能会显著降低因标注不透明导致的模型行为不可解释风险，但这需要建立统一的属性分类标准和规则库。