43 个多语言模型在跨语言推理中现显著能力断层

该研究通过 Rel-Bloom 基准测试了 43 个模型在六个语言中的证据条件关系推理能力，发现模型准确率从应用（Apply）层级跃升至分析（Analyze）层级时出现断崖式下跌，其中 Granite 系列下降幅度达 47.2 个百分点，而 Gemini 3.1 Pro 虽在其他四项任务上达到 99.5% 的天花板水平，但在评估（Evaluate）任务上仅为 60.7%。 实验构建了基于 Wikidata 的 30 个关系和 450 道多选题，涵盖事实、反事实及中性化三种真实性条件，结果显示反事实上下文普遍比事实上下文更难处理，且移除实体身份在某些模型 regime 下反而提升了高阶表现。尽管不同语言间的题目难度排序保持一致，表明存在跨语言的通用难度结构，但更大的模型规模并未保证对给定关系证据的可靠推理。 这一结果直接挑战了 RAG 系统假设大模型能自然利用上下文中陈述的关系进行推理的前提，事实层面确认了当前模型在处理复杂逻辑验证时的脆弱性；推断层面指出单纯增加参数或优化预训练数据无法解决此类认知断层；猜测层面认为未来架构需引入显式的逻辑验证机制而非依赖隐式关联记忆，但这需要进一步工程验证。