特定开源后训练配方使大语言模型对低职业身份者产生事实怀疑

该论文通过对比六个模型家族在基础版本与后训练检查点的表现，发现只有使用开源 Tülu-3 配方（涉及 OLMo-2 32B 和 Tülu-3 70B）的微调会导致模型基于发帖人职业身份产生“事实怀疑”，即更倾向于判定低地位职业者的主张为假；这种偏差幅度虽低于一个百分点但统计显著，且独立于训练漂移在其他声明集上可复现。相比之下，Meta、Alibaba 或 Mistral 的模型以及七款已部署的商业模型均未表现出此类基于职业的怀疑倾向。

机制分析显示，在 OLMo-2 32B 中，微调并未让模型开始关注发帖人职业，而是改变了其对职业信息的解释方向：低地位职业将基础模型的判断推向“真”，而微调后的模型则将其推向“假”。这一翻转由单一残差流方向承载，且发生在监督微调阶段，并通过 400 个新声明的预指定预测得到确认。这表明偏见的引入并非源于数据分布的自然漂移，而是特定训练指令与优化路径共同作用的结果。

事实层面确认了开源 Tülu-3 配方与职业偏见之间的因果联系，推断表明不同训练策略对模型社会价值观的影响存在巨大差异，猜测则指向未来若广泛采用类似开源配方可能引发系统性对齐风险。对于从业者而言，这意味着不能仅依赖模型族名或厂商声誉来评估安全性，必须针对具体训练配方进行独立的偏见审计，尤其是在使用开源工具链时。