LLM Agent指令冲突研究发布WhoWins基准

该论文通过 WhoWins 基准测试，在 14 个开源模型上分析了 188 万条回复，揭示了 LLM Agent 在处理冲突指令时的真实行为模式。研究发现，当两条冲突指令出现在同一消息内时，第一条指令获胜的概率为 72.42% 至 94.66%，而跨消息场景下这一概率降至 22.95% 至 62.65%。 关键证据显示，系统或开发者消息中的策略若排在首位，在所有 Qwen 模型中均会输给后续行，但在 gpt-oss 模型中作为行动主体时却能胜出。此外，工具调用和文件写入任务中，文本作为标记的用户消息发送时比作为系统消息更早发送时更容易获胜。尽管模型能根据任务行位置改进冲突预测，但仅有 2.92% 的已决回复会标记或规避冲突。 事实层面确认了位置（Position）和标签（Label）对指令权重的决定性影响，推断表明当前 Agent 框架可能过度依赖系统消息的权威性而忽视实际执行顺序。猜测认为，若忽略这种非对称性，构建复杂多源指令的 Agent 系统将面临不可控的静默失效风险。