跳到正文
原文
arXiv cs.CR· Shuo Hong, Jiaxin Ma, Xidi Cai, Qianli Ma·· 4 小时前精选AI 评分78

ERASE 论文提出基于在线策略自蒸馏的多模态提示注入防御方案

Erase the Injected Region: Multimodal Prompt-Injection Defense with On-Policy Self-Distillation

AI 导读

该论文提出名为 ERASE 的防御方法,旨在解决多模态间接提示注入攻击中现有防御手段在阻断恶意指令时往往损害模型对必要信息利用能力的问题。该方法通过在原始位置擦除被注入的区域并用适合模态的空白内容替换,构建参考视图,使学生模型在读取受攻击媒体时,能从冻结的基础模型读取擦除后的视图中学习,并通过自身 rollout 的全分布 token 级反馈进行训练。

实验数据显示,在两个模型规模及图像、音频和视频三种模态上,ERASE 在评估基准上实现了近乎为零的攻击成功率,同时保留了接近未受防御清洁输入水平的任务效用。具体而言,在 3B 音频模型上,ERASE 在受攻击输入下的准确率达到 60.1%,而 ARGUS 仅为 33.1%,且与未受防御的清洁输入水平相差仅 0.5 个百分点。此外,该方法将 3B 音频模型对注入的依赖度从 6.26 降至 0.0095,同时在擦除输入上的表现仍接近基础模型,域外准确率也维持在基础模型水平附近。

事实层面,该研究由 Shuo Hong 等人提交至 arXiv cs.CR,代码将在录用后公开。推断层面,这种“擦除即防御”的机制可能为多模态 Agent 的安全部署提供新的工程路径,特别是当需要保留外部媒体中的关键上下文信息时。猜测层面,该方法是否适用于更大参数量的模型或更复杂的跨模态攻击场景仍需进一步验证,目前结果仅限于文中提到的特定基准和模型规模。

推荐理由

提出通过擦除注入区域进行自蒸馏的防御方法,在保持任务效用接近无防御水平的同时实现攻击成功率近零。

来源:arXiv cs.CR · arxiv.org