研究揭示可信解释误导多模态模型评估

该研究通过 JUPE 基准测试发现，在视觉问答任务中，即使答案错误，只要附带听起来合理的文本解释，14 种多模态大语言模型（MLLM）评估者仍会显著降低拒绝率。这种被称为“合理性捕获”的现象表明，评估模型对文本线索的敏感度超过了其对视觉事实的验证能力。 具体数据显示，普通的理由说明和思维链推理分别使错误答案的拒绝率降低了 12.7 和 13.8 个百分点，其误导性效果与刻意设计的说服性论证相当。基于信号检测理论的分析证实，解释的存在导致决策标准向“接受”方向发生显著偏移，但模型的区分能力并未提升。这一机制在不同领域、解释生成器和评估协议中均表现一致，而现有的缓解措施仅能提供有限的、依赖模型的防护。 事实层面，JUPE 基准固定了答案并仅改变解释，量化了文本对视觉判断的干扰程度；推断层面，这意味着当前广泛使用的包含解释的自动化评估流程可能高估模型性能；猜测层面，若不加干预，未来基于此类评估的训练循环可能会强化模型对文本幻觉的依赖而非视觉准确性。