研究指出仅凭接受度测试无法确保科学发现有效性

该研究评估了自动化科学发现系统中“接受守卫”的可靠性，指出仅凭通过测试（如零控制测试）不足以确立科学主张。作者定义了四种改变物理描述的操作性任务，并引入三种解释性设置进行验证：零接受率、正接受率和后果一致性。研究发现，一个将所有状态映射为零的简化模型能在129个公开混沌系统中以96%的通过率通过闭合性测试，尽管它完全丢失了动力学变化；但在独立的观测值保持测试中，该模型被完全拒绝。 在受控基准测试中，结合多项标准的方法能正确接受所有24个真实简化模型并拒绝72个零模型。语言模型和ESM-2蛋白质模型中的线性CKA分析显示，当提议的对应关系被随机旋转时指标保持不变，而局部干预能有效区分真实映射与零模型。在稀疏自编码器实验中，富集方法拒绝了所有16个测试零模型，但独立消融实验支持了45%的可评估富集特征，而匹配对照组仅为0.5%。 这些结果揭示了两个关键的接受度缺口：描述性测试可能接受科学上空的候选项，而已接受的候选项可能缺乏经独立验证的后果。事实层面，零模型通过了特定统计测试但无实际动力学意义；推断层面，当前自动化发现流程若仅依赖单一接受标准将产生大量虚假发现；猜测层面，未来系统需强制实施双重验证机制，即同时评估测试接受度和科学后果，才能建立可靠的自动化发现框架。