十五个大语言模型在多实例处理任务中表现出显著的输入顺序敏感性

该研究通过评估15个大语言模型在五个数据集上的表现，发现模型在处理多实例聚合任务时存在严重的顺序偏差，最佳与最差输入顺序下的准确率差异可达约90个百分点。实验设定要求模型推断每个实例的二元标签并识别全集中最频繁的标签，理论上结果应对实例顺序不变，但实际测试显示当多数类实例出现在开头时模型表现显著优于出现在中间或结尾的情况。

基于推理轨迹和基于梯度的归因分析进一步证实了这种位置效应的机制：模型在推理过程中不成比例地强调早期实例，且归因分数在序列开头和结尾较高而中间较低。这一发现表明当前主流模型在将多个独立输入合并为单一预测时，并未真正平等对待所有输入信息，而是受到输入排列的隐性系统偏差影响。

事实层面，研究覆盖了15个模型、5个数据集及7种顺序模式，数据固定仅改变排列；推断层面，现有评估基准若未控制输入顺序可能导致性能虚高或低估；猜测层面，这种偏差可能源于训练数据的统计特性或注意力机制的固有局限。对于依赖多文档摘要、评论聚合或批量决策的应用场景，必须将输入顺序作为关键变量纳入测试体系，否则无法保证预测结果的可靠性。