EvoSafeHarness 框架将 Agent 攻击成功率降至 12.6%

EvoSafeHarness 是一个针对冻结 LLM Agent 的自动化框架，它根据目标模型和领域规范，利用行为反馈联合演化自然语言策略与可执行执行逻辑，以生成部署特定的安全护栏。该框架通过新鲜上下文对抗审查过滤依赖基准伪影的规则，在四个 Agent 基准族上实现了比固定专家设计防御更强的安全 - 效用前沿。 具体数据表明，在 DecodingTrust-Agent 跨十五个模型 - 领域部署中，该框架将直接攻击成功率从 50.9% 降至 12.6%，间接攻击成功率从 40.4% 降至 7.4%，同时仅增加 3.3 点的效用成本。在 AgentDojo 上，它在保持 0.0% 攻击成功率的同时实现了 82.8% 的效用，是同等零攻击点下 CaMeL 的两倍，且生成的护栏能无损迁移至未见过的 AgentDyn 套件。此外，它在所有评估受害者模型上均取得 Agent-SafetyBench 最佳分数，并在面对自适应 PAIR 风格攻击者时保持低于 18% 的攻击成功率。 分析显示，领域语义决定了需要跟踪哪些安全关系和轨迹状态，而模型和运行时行为则决定了如何及在哪里执行这些关系。事实部分基于论文提供的基准测试数据；推断在于该框架可能改变当前静态安全护栏的行业标准，使其向动态演化方向迁移；猜测在于其实际工业落地时的计算开销与实时性表现，原文未提供具体资源消耗细节。