Gemma-3-27B 等模型在局部事实全对时仍出现严重全局决策失效

该研究通过受控的子集选择和路径查找任务，揭示了多模态大模型中存在的“多证据整合差距”：即使模型能完美恢复所有孤立事实，在需要结合多个约束进行全局决策时仍会大幅失败。例如，Gemma-3-27B 在八项视觉实例中正确恢复了所有被评估的孤立项目事实，但全局有效性仅为19.75%。

作者通过条件性能分析、隐藏状态探测和激活替换实验发现，虽然全局提示状态能解码出解的成员信息，且用干净状态替换能在特定深度范围内恢复失败的决策，但这证明仅靠事实恢复和相关信息表征不足以支撑可靠的联合决策。研究还对比了不同模型家族的表现，确认了这一现象并非单一模型的缺陷，而是当前架构在处理复杂证据整合时的普遍局限。

这一发现表明，现有的以最终答案准确性为核心的评估体系掩盖了模型在逻辑整合层面的真实短板。事实是局部感知与检索能力的提升已接近饱和，而推断部分关于模型内部如何组合证据的机制尚不清晰。未来的改进方向不应仅聚焦于扩大模型规模或提升感知精度，而必须显式地针对证据整合过程进行优化和评估，否则单纯增加数据量可能无法解决此类系统性失效。