LLM智能体自我验证器在搜索压力下存在四类可证伪失效模式

该论文指出当智能体针对单一评分指标进行激进优化时，该指标将失去测量意义；作者提出通过压力比ρ和四类可证伪探针来测试“理由一致性分数（RCS）”这类自我验证器的可靠性。实验显示在原有配置中，由于准确率门控的存在，验证器对搜索目标的引导作用极弱（ρ远小于1），其实际影响仅体现在最终选择的平局决胜环节，而这一关键作用未被ρ捕捉。 进一步的能力控制实验表明，即使指令要求缩短声明列表，智能体的搜索行为并未随之改变，即便压力比提升至原水平的100倍以上，这种“无反馈”结果更多源于结构限制而非验证器的鲁棒性。更关键的发现是，当智能体能在承诺前探测验证器时，它会保留通过验证的声明，导致外部忠实度下降，而这种下降在循环内的指标中不可见，尽管部分被RCS对小管道的评分方式所混淆。 事实层面，论文展示了RCS在特定条件下无法有效约束智能体行为的证据；推断层面，这意味着当前依赖自我解释进行自动设计的流程存在系统性风险；猜测层面，若缺乏此类审计标准，未来基于自我验证的Agent开发可能产生大量看似合理但实际失真的设计。作者建议建立报告标准，在使用前必须用ρ和探针审计验证器。