CyberArena 通过动态对称攻防对抗重新评估 AI Agent 的网络安全能力

该论文提出 CyberArena，一个围绕多轮攻击与防御战斗构建的动态、对称对抗基准，旨在解决现有基准在孤立沙箱中评估静态目标导致的能力饱和问题。研究团队在 466 场比赛中评估了 12 个前沿 LLM Agent 在 40 个挑战下的表现，发现单智能体基线模型已触及性能天花板，而新基准能有效区分模型在实时压力下的攻防速度、精度及策略深度。

核心证据包括引入自动化 Agent 管道持续生成、审查和验证新环境以维持基准寿命，以及开发动态模型将比赛动态映射为涵盖进攻、防守和特定领域能力的统一多维评分。实验轨迹显示，具备高阶能力的 Agent 会提前布局（如植入后门供后续回合使用）甚至编写自定义工具（如数据包嗅探器），而普通模型则表现为修补漏洞后遗漏新漏洞或基于陈旧证据认证修复。

事实层面，该基准由 20 位作者提交至 arXiv cs.CR，版本 v1 于 2026 年 10 月 13 日发布。推断层面，这种动态对抗范式可能成为未来 AI 安全研究的通用实验平台，推动从“解题”向“博弈”的评估逻辑迁移。猜测层面，若该框架被广泛采纳，可能会加速 Agent 在真实网络攻防场景中的迭代，但具体商业化落地路径尚未在文中披露。