AgentPolicyForge 框架通过可执行环境构建策略基准并迭代训练智能体守卫

Chao Shang 等人提出 AgentPolicyForge 框架，利用可执行环境构建策略基准并迭代训练策略守卫，以解决自定义智能体部署中提示词无法可靠防止违规的问题。该框架构建了 PolicyGym 数据集，包含10个策略家族、698个用于训练生成的场景和254个经人工审查的保留测试场景，通过执行工具调用并记录结果来判定合规性。

关键证据显示，所有违规案例均使用了被允许的工具，因此必须检查参数、资源和上下文而非仅依赖工具身份。在固定档案下训练能提升策略执行效果，而更新档案进一步降低了域内攻击成功率。与策略感知任务智能体的自我调节相比，最终基于守卫的配置在 PolicyGym 上将攻击成功率相对降低了40-44%，且误拒良性请求更少。

事实层面，该研究证明了环境验证比单纯提示词更有效；推断层面，这意味着未来智能体安全架构需从静态规则转向动态执行沙箱；猜测层面，这种迭代训练机制可能成为行业标准，但具体实施成本取决于环境模拟的复杂度。