目标词分布不对称性可伪装成模型深度专业化

1. 12:00
   arXiv cs.CL

   目标词分布不对称性可伪装成语言模型的深度专业化现象

   该论文指出，传统的层消融研究通过比较不同语料库在早期和晚期层被破坏后的预测损伤来推断模型的深度分工，但这种方法忽略了两个语料库的目标预测词（target tokens）存在显著差异。例如，数学解题数据包含大量空白符和数字，而百科全书文本则不同，这种目标词分布的差异本身就能在统计上制造出“早期层对某任务更关键”的假象，即深度专业化。 作者通过在 GSM8K 和 Wikitext 之间拆分并重新计算交互作用，发现当控制目标词混合比例后，原本观察到的正交互效应在三个完全分解的模型中仅由空白符（whitespace）驱动。移除空白符后，所有三个模型中的汇总效应均发生反转；若匹配完整的目标词混合比例，则在两个模型中实现了反转。这一诊断结果在位置匹配、对抗性重分配目标词类型以及连续读出测试中均成立，且风险甚至可以通过分词器（tokenizer）预先预测。 基于上述事实，文章提出严格的验证标准：跨语料库的深度效应只有在报告了目标词混合比例、按目标词类型进行分解、且保持混合比例匹配的汇总结果符号不变时，才能支持任务专业化的解释。这是事实层面的方法论修正，而非对特定模型架构的否定；至于这是否意味着现有文献中大量关于深度分工的结论需要系统性重写，目前尚属推测，需等待后续复现工作确认影响范围。

当前热度 9·可比范围峰值 9（10月15日 14:00）·近 24 小时可比范围变化 –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。