跳到正文
原文
arXiv cs.CR· Ting Yan·· 5 小时前AI 评分68

用户自撰权限策略未能比人工审批更有效地阻止 AI Agent 越权行为

Do User-Authored Permission Policies Improve Protection Against AI Agent Overreach?

AI 摘要

该研究通过对比三种控制机制发现,由非专业背景用户预先制定的“允许、询问或禁止”规则策略(POLICY),在阻止 AI Agent 越权行为方面的效果显著低于实时人工审批(HITL)和自动模型审查(AUTO)。实验数据显示,POLICY 策略拦截越权行为的成功率比 HITL 低 20.1 个百分点,比 AUTO 低 14.5 个百分点,且并未因减少运行时提示而降低总干预时间。

核心证据在于用户的实际决策模式:在 POLICY 组设定的 140 条规则中,有 114 条被选为“询问”,导致绝大多数越权动作仍需等待运行时的人工确认。最终执行的 148 次越权动作中,133 次依赖人类批准,仅 15 次真正由“允许”规则自动放行。这表明用户倾向于保留个案选择权而非建立长期约束,使得预设规则无法发挥事前阻断作用。

事实层面显示,用户自撰策略在统计上未能提供更强保护;推断层面指出,这种机制可能产生“偏好与承诺分离”的现象,即用户希望拥有控制权却不愿承担制定严格规则的认知成本;猜测层面认为,若产品化此类功能,单纯提供规则编辑器而不引导用户固化“禁止”意图,可能无法达成预期的安全目标,甚至因虚假的安全感增加风险敞口。

来源:arXiv cs.CR · arxiv.org