研究定位大模型“套路文风”在训练阶段的来源并给出向量消融去除方案

该研究通过差异均值方向分析，定位到Qwen3-4B-Instruct等模型中负责夸张写作风格（如破折号、排比、 buzzwords）的特定神经轴，该轴与人工编写的最小对比例高度相关。研究发现这种“套路文风”并非仅由指令微调产生，基础模型已具备该方向但倾向平实表达，而监督微调（SFT）引入了修辞结构，偏好对齐（DPO）则通过增加 buzzwords 和 Markdown 格式将文风评分翻倍。

实证数据显示，在OLMo 2 1B模型的各发布阶段测量中，3000对偏好数据里有57%被选中的回复是更“套路化”的版本。作者提出一种层间固定向量减法策略（第12至23层），在约0.4 nats/token的KL预算内即可显著减少无法通过词库屏蔽的结构特征。该方法蒸馏为Rank-16 LoRA后，在不使用系统提示的情况下将套路评分降低83%，且未影响小规模问答表现。

需区分事实与推断：文中明确指出的57%数据倾向、0.82相关性系数及LoRA效果为实测事实；关于DPO“加倍”文风的结论基于特定数据集的评分器；推测部分包括该向量方法在更大规模模型或不同语言上的泛化能力，以及当前正则检测器作为评估工具的局限性。此工作补充了Token级去套路方案，从表示层面提供了新的工程路径。