arXiv cs.CR· Weiheng Wu, Junkai Chen, Zhensu Sun, Jieke Shi, Yunbo Lyu, David Lo·· 5 小时前AI 评分75
Shall We Approve? 提出基于后果感知的自主编码Agent审批机制Caper
"Shall We Approve?" Consequence-Aware Approval for Autonomous Coding Agents
AI 摘要
Caper是一种针对自主编码Agent的后果感知审批机制,通过在快照沙箱中预执行每条命令并独立报告观察到的效果,解决了现有系统仅依赖请求文本或事后检查导致的安全盲区。该机制允许提交被批准的命令,对拦截的命令提供可操作的回滚理由,从而在SABER和YoloFS-Ext两个基准测试中实现了最低的有害结果率。
在SABER基准上,Caper的有害结果率为6.7%,显著低于其他六种现有系统的最低值14.8%;在作者构建的YoloFS-Ext基准(其中有害行为隐藏在调用工具内)上,Caper的有害结果为7.8%,而对比系统至少为35.3%。尽管表现优异,Caper也拦截了YoloFS-Ext中危险任务对应安全变体的1.0%,显示出一定的误报成本。该研究由Weiheng Wu等人发表于arXiv cs.CR,属于密码学与安全领域,同时涉及人工智能方向。
事实层面,Caper的核心创新在于将审批决策从静态文本分析转向动态行为观测,利用沙箱环境隔离风险。推断层面,这种机制可能成为未来Agent开发中默认的安全组件,特别是对于需要高可靠性的自动化代码生成场景。猜测层面,随着Agent复杂度提升,基于状态的审批可能会增加计算开销,但考虑到其大幅降低的有害事件率,这种权衡在工业级应用中可能是值得的。
来源:arXiv cs.CR · arxiv.org