三款AI评估模型输出受界面呈现方式显著影响

该研究对 Jev、Clef Flash 和 Perplexity Decider 三款自动评估模型进行了受控审计，发现其输出高度依赖界面呈现形式（presentation sensitivity）。在涵盖幽默、帮助性和摘要任务的六个数据集及 90 万次判断中，位置、标识符、作者声明和评分框架等微小变化导致评估结果出现大幅波动。 具体数据显示，Jev 在摘要任务中第二位置的概率优势达到 6.11 个百分点；反转读者推荐后，Perplexity 选中幽默文本的比例在 40.40% 的对子中发生改变；而采用拒绝式框架（rejection framing）使 Clef 对人类偏好的摘要一致性下降了 23.36 分。尽管评分格式会改变分数水平，但往往能保持排名顺序不变。 事实层面证明，可重复性、呈现鲁棒性和人类对齐是评估器的独立属性。推断表明，若忽略这些变量，自动化评估管道可能产生误导性结论。猜测部分指出，当前行业普遍将单一分数视为绝对真理的做法存在系统性风险，未来需建立针对界面干扰的标准化验证流程。