一项信号处理审计显示推理模型的Token置信度评分主要反映链长度而非正确性

该研究对基于Token置信度的推理链筛选方法进行了信号处理审计，发现其核心指标在数学问题上几乎完全等同于链长度。作者采样了500道数学题的16条推理链，使用滑动窗口平均和最小值检测等标准工具分析模型生成的置信度信号，结果证实一旦控制链长因素，置信度评分不再包含任何关于答案正确性的信息。

证据细节来自频谱分析和统计检验：虽然错误推理链确实表现出比正确链更快的Token间波动（高频信号），但这种微弱差异无法提升多数投票的准确率。从信号处理角度看，由于置信度信号本身漂移缓慢，更长序列的最小值因概率原因必然更低，导致“窗口最小值”评分本质上只是测量了序列长度。因此，仅按长度排序或减少采样数量，效果均优于或等于复杂的置信度筛选机制。

事实层面确认了现有置信度过滤方法的失效；推断层面表明当前推理模型内部并未生成与逻辑正确性直接挂钩的独立置信度特征；猜测层面认为若需早期停止策略，应转向更直接的长度阈值或计算成本优化，而非依赖当前不可靠的置信度信号。