CERTID评估模型揭示推理模型因果识别准确但不可靠

该论文指出当前对推理模型（reasoning models）的评估存在严重缺陷，主要依赖字符串匹配和准确率指标，无法区分模型是拒绝可识别查询还是错误回答不可识别查询。作者构建了CERTID形式化识别管道，利用完整的因果识别算法ID来验证效应是否可从观测数据中恢复，并通过已知干预分布的结构因果模型验证返回公式的正确性。评估结果显示，尽管模型在判断图的可识别性上达到97-100%的准确率，但在处理非可识别查询时，不同模型的虚假声明率相差十七倍，证明准确率并非可靠性的有效代理。 研究团队在1,200个经过认证的实例上测试了Gemini Flash、Gemini Pro和GPT5.5三个前沿推理模型，这些实例涵盖4到50个顶点的图结构。关键发现在于，模型在面对训练快照之后生成的图时仍能做出正确判断，说明其并未死记硬背特定数据分布，而是表现出某种泛化能力。然而，这种高准确率掩盖了其在逻辑严谨性上的致命弱点：当面对本质上不可识别的问题时，部分模型会自信地给出错误公式，而这类错误无法通过观测数据验证。 这一结果对AI安全与对齐领域具有直接推论。在涉及科学发现、政策制定或医疗诊断等高风险场景中，仅凭“回答正确率高”不足以信任推理模型，必须引入形式化验证机制作为前置过滤器。事实层面确认了现有基准的局限性；推断层面表明未来评估体系需从统计指标转向逻辑完备性验证；猜测层面认为若缺乏此类机制，盲目部署推理模型可能导致系统性误导风险。所有结论均基于CERTID框架下的实证数据，未引入外部假设。