InfiniteWorld基准测试揭示VLM在物理规则改变时仍依赖常识

arXiv cs.AI 发布的 InfiniteWorld 基准测试旨在解决现有物理推理评测无法区分模型是依据视觉证据还是依赖熟悉物理规则的问题。该基准通过系统性地调整模拟器中的物理参数，生成配对视频与问题，从而强制模型在面对违背地球常识的物理环境时做出判断。评估涵盖法律识别、参数估计、时间推理、分析性反事实比较和定律归纳五个任务，并设计了包含纯文本及有序或打乱观察的五种输入设置。 实验结果显示，尽管引入帧信息提升了大多数模型的总体表现，但模型普遍存在对熟悉物理规则的持久偏好。即使在观察到物理动态已改变的清晰视觉证据下，模型仍倾向于输出符合地球正常物理的答案。这种“地球正常”答案的重复出现揭示了模型在反事实推理中的脆弱性。此外，任务得分与语义一致性分析进一步区分了模型是匹配了物理因素本身还是仅匹配了数量级，以及正确回答与重复错误之间的差异。 这一发现表明，当前视频语言模型的多模态推理能力存在显著的能力边界：它们擅长处理符合常识的场景，但在面对系统性物理参数改变时，视觉证据往往被先验知识覆盖。这属于基于实测数据的推断，而非猜测。对于构建高可靠性 Agent 或进行复杂物理模拟验证的团队而言，这意味着单纯提升分辨率或增加上下文窗口不足以解决根本性的逻辑对齐问题，必须针对反事实场景设计专门的训练或评估机制。