LLMail-Inject发布：大规模提示注入对抗数据集与基准
先了解这件事
2026年10月12日，研究团队在arXiv cs.CR发布LLMail-Inject数据集。该基准包含208,095个独特人工编写攻击提示词，旨在解决现有评估因依赖小规模模板化攻击导致的过拟合问题。数据通过拥有839名参与者的公开红队挑战收集，要求攻击提示词必须从邮件数据库检索、绕过生产级防御并触发带有正确参数的未授权工具调用。评估结果显示，在现有基准上达到5%攻击成功率（ASR）的模型在此新基准下表现失效。
AI 根据报道生成 · 3 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- arXiv cs.CR精选LLMail-Inject 数据集揭示大模型在真实间接提示注入攻击下的防御失效
这篇来自 arXiv cs.CR 的论文发布了 LLMail-Inject，一个包含 208,095 个独特人工编写攻击提示词的大规模基准测试，旨在解决现有评估因依赖小规模模板化攻击而导致的过拟合问题。该数据集通过拥有 839 名参与者的公开红队挑战收集，要求攻击提示词必须从邮件数据库检索、绕过生产级防御并触发带有正确参数的未授权工具调用，从而完整评估攻击执行链。 评估结果显示，在现有基准上达到 5% 攻击成功率（ASR）的模型在此新基准上表现显著恶化：专门针对提示注入训练的 Meta SecAlign 模型仍产生 32% 的 ASR，GPT-4o 为 58%，GPT-5 mini 为 47%。此外，攻击在不同领域间具有迁移性，在概念验证编码任务中达到 37% 的 ASR，在文件管理任务中达到 28-45% 的 ASR。这些事实表明，即便经过特定安全微调的模型，在面对自适应且多样化的真实世界攻击时，其防御机制仍存在巨大漏洞。 推断认为，当前行业对 RAG 和 Agent 系统的安全评估可能过于乐观，因为静态基准无法捕捉攻击者的适应性。猜测是，未来的安全对齐工作必须转向基于大规模动态红队测试的评估体系，而非仅依赖固定题库。材料明确区分了事实（如具体的 ASR 数值和样本量）与推断（即现有基准饱和），并未提及任何未在原文出现的模型版本或具体防御技术细节。
本事件热度走势
当前热度 9·可比范围峰值 9（10月12日 14:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。