arXiv cs.CL· Peter Potash·· 5 小时前AI 评分75
前沿语言模型的概率判断不遵守全概率定律且与错误率强相关
Latent Coherence: Do Frontier Language Models' Probability Judgments Obey the Law of Total Probability?
AI 摘要
该研究测试了七个前沿大语言模型在零样本条件下是否满足全概率定律，即模型对事件X的无条件概率P(X)是否等于其基于潜在变量z的条件概率加权和。结果显示GPT-6.1 Sol和Claude Opus 5.5表现最一致，平均绝对残差分别为0.08和0.12对数几率（约2个百分点），而Claude Haiku 5.5、Gemini 3.8 Flash和DeepSeek V4-Pro表现出持续的不一致性，残差在0.27至0.35之间。
关键证据在于，每个模型内部的不一致性残差与回答事实错误的程度呈显著正相关（Spearman系数0.40至0.62），这意味着即使没有真实答案作为参照，仅通过检查模型自身概率分布的一致性即可有效标记不可靠输出。此外，推理长度并不能预测一致性，无论跨模型还是同一模型在不同表述下，长推理并未带来更好的概率校准。
这一发现揭示了当前主流模型在处理需要推断潜在变量的复杂推理任务时存在系统性缺陷，这种缺陷并非随机噪声而是特定于因果推理机制。对于工程实践而言，构建简单的自洽性检查器可作为低成本的质量过滤层，用于拦截高风险场景下的幻觉输出；但这属于基于统计规律的推断，具体实施效果需结合业务场景验证，而非所有模型在所有任务上均失效。
来源：arXiv cs.CL · arxiv.org