跳到正文
原文
arXiv cs.AI· Duy Nguyen, Lesly Miculicich, Bhavana Dalvi Mishra, Shuo Li, Krishnamurthy Dj Dvijotham, Mohit Bansal, Tomas Pfister, Long T. Le·· 5 小时前AI 评分72

VEPA框架通过形式化规则实现可验证的终身智能体护栏演化

VEPA: Verified Evolving Formal Policy for Lifelong LLM Agent Guardrails

AI 摘要

该论文提出VEPA框架,旨在解决LLM智能体在敏感资源操作中因安全需求不完整而导致的护栏适应性难题。现有方法要么依赖LLM推理导致决策不一致,要么依赖预定义形式化规则无法适应新风险。VEPA将护栏表示为基于类型化智能体事件的可执行符号规则,利用部署反馈驱动策略补丁生成,并通过确定性验证器确保结构有效且无冲突。

核心机制包含三个关键步骤:首先,由部署反馈引导的LLM提议修复新观察到的失败的策略补丁;其次,确定性验证器仅接受结构合法且无冲突的策略;最后,引入证据感知层,仅在拥有足够支持证据时才激活已验证的规则,防止不确定更新直接影响护栏决策。实验显示,在ASSEBench-Safety、ASSEBench-Security和ATBench基准上,VEPA均优于基线模型,且在混合流、损坏反馈和长周期等挑战性条件下表现稳健。

事实层面,该研究明确区分了LLM推理生成的模糊性与形式化规则的确定性,并引入了证据阈值作为安全缓冲。推断层面,这种架构可能改变智能体长期运行时的安全审计方式,从黑盒监控转向白盒规则管理。猜测层面,若该框架能降低形式化规则编写门槛,或将成为高可靠性Agent系统的标准组件,但需进一步观察其在大规模异构环境中的泛化能力。

来源:arXiv cs.AI · arxiv.org