提问顺序改变视觉语言模型在理论心智任务中的选择结果

该论文指出当前视觉语言模型（VLM）的理论心智评估存在设计缺陷：要求模型先报告视角再执行动作的测试流程，会显著改变模型最终的选择行为。在渲染的Director Task实验中，当提示词先询问“导演能看到哪些方块”时，GPT系列模型选择被遮挡最大方块的比率从12%跃升至88%，Qwen3.8-27B也提升了17个百分点，尽管这些模型大多能正确报告导演的视野范围。

分析显示，这种变化源于提示词引导了模型的注意力焦点：先问视角将请求解读为“基于导演视角的行动”，而直接指令则偏向“基于模型自身视角”。当提示词明确陈述导演所知内容且不再单独询问视角时，仅有不到1%的回复能同时做到正确报告与选择被遮挡方块。这证明现有基准测试若未设置无提问环节的对照组，其得分无法区分是模型真正具备理论心智能力，还是仅仅响应了特定的提问诱导。

事实层面，该研究提供了针对六款GPT模型和Qwen3.8-27B的配对提示词实验数据，证明了提问环节对结果的量化影响。推断层面，这意味着行业通用的理论心智基准可能存在系统性高估，许多看似正确的“理解他人视角”表现实则是提示词工程的结果。猜测层面，未来评估框架需强制引入无前置提问的基线对照，否则无法准确衡量模型在复杂交互场景下的真实推理能力。