新研究指出CLadder基准中嵌入的浅层模式导致LLM在因果推理任务上表现虚高

这篇arXiv论文通过实证分析挑战了LLM在CLadder基准上展现出的形式化因果推理能力，指出模型的高分可能并非源于真正的推理机制，而是利用了生成器在数据集中植入的浅层且高度可预测的模式。研究发现，即使是简单的随机森林模型，在经过生成的样本训练后也能在CLadder测试集上取得良好表现，这直接削弱了LLM在此类任务上具备复杂推理能力的结论。

证据细节显示，商业LLM在该基准上的表现极其脆弱：移除对形式化因果推理至关重要的文本大段内容后，模型性能几乎没有下降。这表明模型并未真正理解因果逻辑，而是依赖训练数据中暴露的生成器特征进行表面匹配。作者提出最可能的假设是，当前最先进的LLM之所以在CLadder上表现强劲，是因为它们从生成器的训练数据中学到了这些浅层模式，而非掌握了因果推理本身。

这一发现对评估AI能力边界具有关键影响，事实层面确认了现有基准可能存在严重的污染风险；推断层面意味着任何声称LLM具备高级因果推理能力的结论都必须首先排除这种利用浅层模式的假设；猜测层面则指向未来需要重新设计或严格清洗基准数据集，以避免生成器偏差误导行业对模型智能水平的判断。