预填充决策模型的读出稳定性：零标签预测与推理时计算分配

该论文针对仅使用预填充（prefill-only）的决策模型提出一种可验证性质：当干预仅改变候选菜单而保持输入文本不变时，干预后的准确率完全由首次前向传播的缓存分布决定。研究者构建了一个无需标签、无需二次前向传播的估计器，通过限制并重新归一化首遍概率来读取argmax结果。在七个模型家族、十个数据集和两类任务中，该基于排名的估计器预测误差仅为4.2点，其中一个家族甚至达到精确预测；而基于概率水平的变体误差高达21.0点，表明该性质存在于排序而非概率数值中，且无法通过校准恢复。

相比之下，同等规模的生成式语言模型不具备此性质，同一估计器在其上的误差介于1.6至15.8点之间，且随着模型规模增大而恶化。实验显示，均匀增加额外前向传播次数虽能提升校准度但几乎不提高准确率；在成本匹配条件下，置信级联方案优于任何重复询问同一模型的策略。更重要的是，精心策划候选菜单比单纯扩大模型规模更有效，例如0.8B模型在 curated 的5候选菜单上在CLINC150数据集达到95.4%准确率，而4B模型在全量150标签菜单上仅为80.0%。

事实层面，该研究证实了预填充决策模型存在独特的读出稳定性机制，且该机制独立于概率校准。推断层面，这意味着推理时的计算分配可转化为部署前的决策问题，即通过菜单设计而非增加计算量来提升性能。猜测层面，若该性质在其他架构或任务中复现，可能推动行业从“堆算力”转向“优菜单”的低成本AI应用路径，但需警惕其是否受限于特定任务类型或数据分布。