非生成式模型在孟加拉语习语测试中产生字面锁定效应

这篇论文通过干预输入的方式，审计了三种非生成式决策模型（编码器评分器、解码器评分器和闭源API），发现当选项列表中包含习语的“字面释义”时，所有模型的预测都会向该字面义严重偏移。在孟加拉语测试中，这种字面吸引力极强，占据了剩余错误率的65%至96%，且商业模型表现出的看似更强的抵抗力实则是测试语言属性而非能力差异。 数据进一步显示，同一组测试项在不同语言下的表现差异巨大：所有模型在孟加拉语上的捕获率是英语的1.9到6.4倍。更关键的是，随着字面选项的引入，所有模型的校准度均下降；对于开源模型，置信度甚至发生反转，意味着基于置信度进行门控过滤的效果比随机选择更差。即使在语义无关的选项列表中准确率仅为随机水平时，校准最好的模型仍报告0.82的平均置信度。 这一事实表明，将非生成式模型作为路由器或护栏使用时，其输出并非完全客观的概率分布，而是高度受测试语言和选项构造方式影响。推断认为，当前依赖这些模型进行内容审核或流量分发的系统，若未针对多语言场景下的字面干扰进行专门校准，可能在特定语言环境下失效。猜测部分指出，这种机制可能源于训练数据中字面与隐喻的分布偏差，但具体成因需结合更多实验验证。