决策模型在多正确选项下概率分配存在偏差

该论文评估了 Jev、Liquid d1 和 GPT-6 Luna Decisions 三个决策模型在 MetaTool、HotpotQA 和 ECtHR 数据集上的表现，发现即使模型将每个正确选项的排名都置于干扰项之上，仍有 28% 至 50% 的列表中至少一个正确选项获得的概率低于均匀概率 1/n。这表明基于单一正确选项任务建立的校准度，无法保证在多个正确选项场景下的可靠性。 进一步实验显示，当向模型提供五个相同的正确选项副本时，各副本间出现显著的概率差异，平均差距介于 17 到 79 个百分点之间。这种非对称的概率分配导致在使用概率阈值筛选正确选项时，难以完整恢复所有正确答案集合，证明单纯依赖概率阈值无法准确识别多解集。 事实层面确认了现有决策模型在概率归一化机制上存在系统性偏差；推断层面指出下游应用若直接沿用基于单解任务的校准策略处理多解任务，将面临高召回率风险；猜测层面认为这可能需要重新设计针对多解场景的评估基准或引入新的校准方法，但具体解决方案尚未在文中提出。