一致性-准确率脱节揭示无标签评估盲点

该研究通过四个金融问答数据集和两个前沿模型家族，直接测试了无标签评估方法中“一致性即正确”的隐含假设，发现60%的错误答案落在高一致性区域（一致性≥0.8）。这一现象表明，仅依赖投票聚合或一致性评分的评估信号无法识别那些在所有扰动变体下都给出相同错误答案的情况，导致模型看似高度可靠实则完全错误。 具体数据显示，在高一致性错误样本中，77.7%出现了“答案坍塌”，即所有扰动变体输出完全相同的错误答案。这种现象不仅在不同的一致性阈值（从0.50到1.00）下均稳健存在，还集中在特定的扰动维度与领域交叉点上，且跨模型家族共享。这意味着传统的基于一致性的筛选机制在缺乏真实标签时，可能系统性地过滤掉最具误导性的错误模式。 事实层面，研究证实了高一致性错误在金融领域的集中分布及其稳定性；推断层面，现有的无标签评估流水线若完全依赖一致性信号，将产生严重的误判风险；猜测层面，未来可能需要引入对抗性扰动或特定领域的逻辑校验来补充纯统计的一致性指标，但这需要进一步验证。