跳到正文
原文
arXiv cs.CL· Anish Laddha, Nitesh Pradhan, Gaurav Srivastava·· 4 小时前精选AI 评分78

LLM Agent 指令冲突研究中位置与标签的权重差异被量化

Position, Role or Label? A Controlled Study of Instruction Conflicts in LLM Agents

AI 导读

该论文通过 WhoWins 基准测试,在 14 个开源模型上分析了 188 万条回复,揭示了 LLM Agent 在处理冲突指令时的真实行为模式。研究发现,当两条冲突指令出现在同一消息内时,第一条指令获胜的概率为 72.42% 至 94.66%,而跨消息场景下这一概率降至 22.95% 至 62.65%。

关键证据显示,系统或开发者消息中的策略若排在首位,在所有 Qwen 模型中均会输给后续行,但在 gpt-oss 模型中作为行动主体时却能胜出。此外,工具调用和文件写入任务中,文本作为标记的用户消息发送时比作为系统消息更早发送时更容易获胜。尽管模型能根据任务行位置改进冲突预测,但仅有 2.92% 的已决回复会标记或规避冲突。

事实层面确认了位置(Position)和标签(Label)对指令权重的决定性影响,推断表明当前 Agent 框架可能过度依赖系统消息的权威性而忽视实际执行顺序。猜测认为,若忽略这种非对称性,构建复杂多源指令的 Agent 系统将面临不可控的静默失效风险。

推荐理由

实证数据揭示指令冲突中位置与标签的权重差异,可修正对 Agent 指令优先级机制的假设。

来源:arXiv cs.CL · arxiv.org