提出EDIC框架实现LLM外部数据指令级合规
先了解这件事
2026年10月19日,研究团队在arXiv发布论文,提出EDIC(External-Data Instruction Classification)框架。该框架针对RAG或工具调用场景中外来文档混杂合法指令与对抗性提示注入的问题,旨在解决现有防御机制因全盘信任或全盘拒绝导致的效用与安全失衡。其核心创新在于将外部数据指令分类形式化为对每条嵌入指令的识别、分类与行动决策,而非整体处理。该方法通过构建包含混合有益与有害指令的场景化流水线,并引入反事实过滤机制生成训练数据。
AI 根据报道生成 · 3 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
- arXiv cs.CLEDIC 框架实现大模型对外部数据中混合指令的逐条分类与执行控制
针对 RAG 或工具调用场景中外来文档混杂合法指令与对抗性提示注入的问题,该研究提出 EDIC(External-Data Instruction Classification)框架,旨在解决现有防御机制因全盘信任或全盘拒绝而导致的效用与安全失衡。核心创新在于将“外部数据指令分类”形式化为对每条嵌入指令的识别、分类与行动决策,而非整体处理。 该方法通过构建包含混合有益与有害指令的场景化流水线,并引入反事实过滤机制生成训练数据。其关键组件是一个基于 SFT 初始化并经 GRPO 优化的生成式裁判(generative judge),该裁判能在指令级别进行合规归因,为强化学习提供分别鼓励有益服从和惩罚有害服从的奖励信号。在 Qwen3-4B 等两个骨干模型及五个基准测试上的实验显示,相比最强 prior defense,该方案将有害指令拒绝率提升最高达 7.7%,同时在 Arena-Hard-Auto 基准上将效用指标提升了 12.5%。 这一结果证实了细粒度指令归因在平衡安全与效用上的可行性,但需注意其依赖特定的生成式裁判架构与 GRPO 训练流程。代码库已托管于公开仓库,可供复现验证。事实层面确认了性能提升幅度与训练方法;推断层面认为该思路可能成为未来 RAG 系统标准防御模块;猜测层面需观察其在长上下文或多模态混合指令下的泛化表现。
本事件热度走势
当前热度 9·可比范围峰值 9(10月19日 15:00)·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。