研究证实推理模型Token置信度主要反映链长而非正确性
先了解这件事
2026年10月28日，一项发表于arXiv cs.CL的信号处理审计研究指出，基于Token置信度的推理链筛选方法存在缺陷。该研究对500道数学题生成的16条推理链进行了分析，采用滑动窗口平均和最小值检测等工具评估置信度信号。结果显示，在控制链长因素后，置信度评分不再包含任何关于答案正确性的信息，其核心指标在数学问题上几乎完全等同于链长度。尽管频谱分析显示错误推理链的Token间波动（高频信号）比正确链更快，但这种微弱差异无法提升多数投票的准确率。
AI 根据报道生成 · 4 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- arXiv cs.CL一项信号处理审计显示推理模型的Token置信度评分主要反映链长度而非正确性
该研究对基于Token置信度的推理链筛选方法进行了信号处理审计，发现其核心指标在数学问题上几乎完全等同于链长度。作者采样了500道数学题的16条推理链，使用滑动窗口平均和最小值检测等标准工具分析模型生成的置信度信号，结果证实一旦控制链长因素，置信度评分不再包含任何关于答案正确性的信息。 证据细节来自频谱分析和统计检验：虽然错误推理链确实表现出比正确链更快的Token间波动（高频信号），但这种微弱差异无法提升多数投票的准确率。从信号处理角度看，由于置信度信号本身漂移缓慢，更长序列的最小值因概率原因必然更低，导致“窗口最小值”评分本质上只是测量了序列长度。因此，仅按长度排序或减少采样数量，效果均优于或等于复杂的置信度筛选机制。 事实层面确认了现有置信度过滤方法的失效；推断层面表明当前推理模型内部并未生成与逻辑正确性直接挂钩的独立置信度特征；猜测层面认为若需早期停止策略，应转向更直接的长度阈值或计算成本优化，而非依赖当前不可靠的置信度信号。
本事件热度走势
当前热度 9·可比范围峰值 9（10月28日 14:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。