LLM生成的置信度分数不可靠且无法校准

文章指出让大语言模型直接输出置信度分数是不可靠的，因为该数值并非基于信息量的计算结果，而是文本生成的自然延续，既未反映实际证据强度，也未经过准确性校准。由于模型是自回归生成，同一问题在不同时间或不同措辞下会给出不同的分数，且模型缺乏记录历史预测与实际结果的能力，导致其输出的数字无法像天气预报员那样通过长期统计来验证准确度。 作者强调可信的置信度必须满足两个条件：一是反映预测所依据的信息量，二是经过实际结果的持续校验。相比之下，LLM生成的分数不具备这些属性，它只是学习了文本中“置信度”一词的常见搭配模式，而非学习如何使分数匹配准确率。因此，仅凭单次询问无法判断分数的真实性，必须通过大量样本对照答案键才能发现偏差，而这在常规应用中极少发生。 作为替代方案，文章建议构建一套独立于模型的规则系统：首先列出可观测的特征（如搜索结果数量、历史回答一致性等），其次以历史正确率为基准初始值，然后记录每次回答的特征、规则给出的分数及最终结果，最后根据新数据更新规则并定期校验校准情况。这种方法的结论是，只有当有人持续检查回复是否正确时，这套规则才能产生真正可用的置信度；否则系统将退回到无人测量的随机数字状态。事实部分基于模型生成机制与校准定义，推断部分指向当前Agent设计中的普遍误区，猜测部分涉及用户是否具备建立记录系统的资源。