后训练路径与语料比例如何塑造大模型价值偏好

该论文通过受控实验发现，大语言模型在后训练阶段会从包含不同人口群体意见比例失衡的语料中学习价值偏好，且这种失衡会被放大，但放大的程度取决于具体的后训练路径（SFT、DPO 或 GRPO）。研究指出，一旦价值偏好被放大，后续的后训练能否消除这些偏见，不仅取决于所采用的方法，还高度依赖于语料中的观点混合比例。 关键证据显示，模型在干预下的稳定性取决于后续后训练是否改变了其价值偏好；更值得注意的是，即使蒸馏过程使用的语料中没有显式的观点问题，这些价值偏好仍会转移到学生模型中。这一发现表明，语料中的观点构成和后训练方法的选择是开发、评估和复用 LLM 时必须考虑的核心变量。 事实层面确认了后训练路径与语料结构对价值偏好的双重影响机制；推断层面认为当前行业普遍假设“更多数据或更强对齐能自动修正早期偏差”可能不成立；猜测层面在于若忽视语料观点分布，即便采用看似中立的蒸馏策略，也可能在下游应用中继承并固化特定的价值观偏差。