低资源语言下大模型CoT忠实度上升现象被发现

1. 12:00
   arXiv cs.CL

   新研究发现低资源语言下大模型在知识密集型任务中更依赖思维链推理

   该论文首次将思维链（CoT）忠实度与语言资源水平及任务类型关联，发现随着语言资源水平下降，模型在知识密集型任务中的CoT忠实度反而上升，但在推理密集型任务中无此现象。这一“依赖假设”表明，当模型无法直接回忆答案时（如低资源语言的知识任务），会更倾向于调用推理过程。 研究基于Multilingual Massive Multitask Language Understanding (MMMLU) 数据集，在八种语言的多项选择题上测试了四个模型。结果显示，尽管低资源语言中模型整体置信度较低，但同一语言内低置信度的回答并未表现出更强的推理依赖，呈现出辛普森悖论。关键事实是：低资源语言下模型并非对每个答案都更强地依赖推理，而是对更多数量的答案启用了推理机制。 这一发现意味着CoT监控在低资源语言环境中可能最具信息量，因为那里是推理最常被使用却最少被验证的场景。推断部分指出，现有的多语言评估体系可能低估了低资源语言中模型的实际推理行为模式。猜测成分在于这种依赖机制是否随模型规模扩大而改变，目前材料未提供跨规模对比证据。

当前热度 9·可比范围峰值 9（10月19日 15:00）·近 24 小时可比范围变化 –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。