多语言大模型推理轨迹分歧评估框架发布

该研究指出当前多语言大模型的评估体系过度依赖最终答案的一致性，而忽视了支撑结论的可见推理过程是否真正对等。通过构建一个追踪级分歧框架，作者将结构化相似性、顺序一致性和整体相似性分解为独立维度，并在三个推理基准、七种语言和六个前沿大模型上进行了测试。结果显示，仅基于嵌入向量计算的整体相似度会系统性高估一致性：在全部分数最高的前四分位样本中，有52.1%至67.3%的案例并未达到结构相似性的前四分位。 进一步的人机对照实验表明，人类判断更倾向于与结构相似性对齐，而非传统的整体基线。此外，同语言控制组实验证实这种分歧具有语言特异性：同一语言的两个 paraphrase 版本比跨语言版本表现出更高的重合度。这意味着不同语言用户接收到的解释证据质量可能存在实质性差异，而现有评估指标无法捕捉这一风险。 事实层面确认了传统评估方法在多语言场景下的失效机制；推断层面认为若继续依赖答案级指标，可能导致安全审计和教育场景中的误判；猜测层面推测未来部署需增加针对推理路径的结构化监控模块，但具体实施标准尚待行业共识。