arXiv cs.CR· Yuan Xiong, Linji Hao, Shizhu He, Ken Deng, Yequan Wang, Lijun Li·· 3 小时前AI 评分73
JANUS 框架通过双任务联合训练实现长周期智能体安全风险的提前预判与拦截
JANUS: Foreseeing Latent Risk for Long-Horizon Agent Safety
AI 摘要
该论文提出 JANUS 框架,旨在解决工具使用型智能体在长周期任务中的操作失败风险问题,其核心是将安全防御从单纯的内容审查前移至行动前的延迟风险预判。框架通过多智能体模拟合成多样化的智能体轨迹,并训练一个名为 Vanguard 的守卫模型,该模型同时执行预测安全相关未来和基于观测前缀及预期未来进行裁决两项耦合任务。
关键机制在于 CoAA-RL 算法,它通过奖励下游安全判断的效用价值来联合优化上述两个任务。实验数据显示,Vanguard 在四个智能体安全基准测试中,平均防护能力比基线守卫提升了 15.9 个百分点,同时将良性任务的完成率提高了 5.1 个百分点。这一结果证明了通过预判未来状态而非仅分析当前状态,能有效减少误杀合法操作并拦截潜在危险行为。
事实层面,该研究明确展示了在长周期场景下,结合预测与裁决的双任务架构优于传统单点拦截。推断层面,这种机制可能改变 Agent 开发中对安全模块的集成方式,从外部过滤器转变为内嵌于规划流程的决策组件。猜测层面,该方法在处理极度复杂、依赖长期记忆或环境反馈的任务时是否依然保持高鲁棒性,仍需更多实际部署数据验证。
来源:arXiv cs.CR · arxiv.org