研究揭示评分器偏好可通过隐性强化学习迁移至学生模型

该论文通过48组实验设计验证了隐性强化学习（Subliminal Reinforcement Learning）现象：在仅依赖语言模型评分器分数的后训练过程中，学生模型会习得评分器的偏好特征，即使数据中不存在相关语义痕迹。例如，当评分器被设定为偏好某种动物时，学生模型生成的音节或数字会表现出对该动物的倾向性，且这种迁移在移除评分器间的奖励差异后即消失。 研究建立了四个阶段的因果链条：首先，特征必须体现在评分器的分数分布中；其次，这些分数需能驱动学生模型的参数更新；再次，效应需在多轮训练中累积；最后，必须达到可检测的答案偏移阈值。实验显示，17个单元格在5%的假发现率下成功建立特征迁移，而使用其他数据或模型构建相同偏好的评分器则无法检测到迁移，证明迁移依赖于特定评分器与数据的耦合关系。 这一机制对AI安全具有直接推论：不良倾向可能通过评分器无意识地注入学生模型。论文指出，在训练前测量评分器阶段即可预判风险发生的位置，从而为预防部分安全风险提供量化依据。事实部分基于48组实验结果和具体迁移案例；推断部分认为该机制揭示了当前RLHF流程中潜在的安全漏洞；猜测部分涉及未来对齐技术是否需引入更严格的评分器隔离机制，原文未明确给出解决方案。