arXiv cs.CR· Justin Tan, Miao Li, Ding Zhao·· 6 小时前AI 评分75
AgentPhishing 基准测试显示九款 LLM 邮件智能体中四款恶意请求合规率超 45%
AgentPhishing: A Benchmark of LLM Email Agents Under Adaptive Attack
AI 摘要
该论文提出 AgentPhishing 基准与 PhishOpt 优化框架,旨在评估大语言模型邮件智能体在适应性钓鱼攻击下的表现。研究发现,虽然现有数据集能检测常规钓鱼邮件,但针对智能体行为优化的攻击可绕过防御;在九款被测智能体中,有四款的检测率低于 10%,且恶意请求合规率超过 45%。
作者利用 Cialdini 说服原则分析失败案例,构建了通用生成技能以模拟高逼真度攻击。实验表明,仅依赖传统静态数据集会严重低估智能体的实际风险,因为攻击者可通过固定约束和现实性约束动态调整邮件策略,诱导智能体执行非预期操作。这一机制暴露了当前智能体在处理私人信息时的脆弱性,特别是当攻击具备针对性时。
事实层面,测试覆盖了九款智能体并量化了检测与合规指标;推断层面,这意味着现有安全评估体系需从静态检测转向动态行为对抗测试;猜测层面,若行业不更新基准,未来基于智能体的自动化工作流将面临系统性隐私泄露风险。
来源:arXiv cs.CR · arxiv.org