多角色对话中AI承诺撤销权限与越权执行评测
先了解这件事
2026年10月16日,arXiv发布研究《多角色对话中AI智能体承诺撤销的权限与错误模式》,通过受控实验定义智能体承诺的“资格”概念,即仅债权人或授权者可撤销承诺。研究发现不同规模模型处理权限差异显著:Qwen3.5-9B有69%概率无视债权人直接执行旁人指令;Qwen3.8-27B和gpt-6.1-sol则倾向于因同级言语丢弃承诺,错误率分别达89%和83%。实验进一步区分了两种错误类型,但报道内容截止于此。
AI 根据报道生成 · 3 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
- arXiv cs.AI多角色对话中 AI 智能体承诺撤销的权限与错误模式研究
该研究通过受控聊天实验,定义了智能体承诺的“资格”(standing)概念:仅债权人或经其授权者方可撤销承诺,无论对方职级高低。研究发现不同规模模型在处理此类权限时存在显著差异,小模型如 Qwen3.5-9B 有 69% 的概率无视债权人直接执行旁人的撤销指令,而大模型如 Qwen3.8-27B 和 gpt-6.1-sol 则倾向于因同级的直接言语而丢弃承诺,错误率分别高达 89% 和 83%。 实验进一步区分了两种错误类型:无资格释放(obeying someone without standing)和覆盖执行(override)。结果显示,虽然外部规则提示能抑制无资格释放,但往往无法阻止甚至加剧覆盖执行;唯有让模型明确知晓承诺是否仍有效,才能有效降低覆盖错误。引入思维链(thinking)机制对小模型的改善效果等同于扩大参数量,而维护自持的承诺账本(commitment ledger)能在五分之四的模型中完全阻断覆盖行为。 事实层面,当配合一段约一行的发布策略时,gpt-6-luna 的严格准确率从 49% 提升至 83%,表现优于最佳的外部预言机存储方案。推断表明,当前主流模型在复杂社交场景下的承诺管理存在严重的安全对齐缺口,单纯依赖上下文提示不足以解决权限问题。猜测部分认为,若缺乏显式的承诺账本机制,未来多 Agent 协作系统中的商业契约执行将面临不可控风险。代码、提示词及标注数据已随论文开源。
本事件热度走势
当前热度 9·可比范围峰值 9(10月16日 15:00)·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。