arXiv cs.CL· Yiyang Duan, Fan Wu, Tiantong Wu, Che Wang, Zhiren Gong, Wei Guo, Yang Cao, Wei Yang Bryan Lim·· 5 小时前AI 评分68
C2U in RAG: 检索增强生成中的组合概念遗忘方法
C$^2$U in RAG: Compositional Concept Unlearning in Retrieval-Augmented Generation
AI 摘要
该论文针对检索增强生成(RAG)系统中即使生成器经过审核仍可能暴露不想要概念的问题,提出了一种名为组合概念遗忘(C²U)的查询侧概念抑制方法。该方法在保持编码器固定和文档索引不变的前提下,将源自用户画像的方向路由至增强的原子库,仅向原始查询添加有界编辑量与原始量的差值。
实验在五个数据集、四个编码器和三个随机种子上进行,验证选定的配置使目标概念的Hit@5指标平均降低了4.25个百分点,且未出现非控制组的性能退化或目标暴露增加。此外,在ArXiv上的四概念组合测试中,该方法在经过独立验证门控和首次使用测试评估后,表现优于平均方向比较器,证明了其在抑制目标密度时不会增加预算控制的查询暴露风险。
这一工作表明RAG系统的安全对齐可以前移至检索阶段,通过修改查询向量而非重新训练模型来规避敏感信息。事实层面确认了该方法在特定基准下的量化效果;推断层面认为这为低成本的内容合规提供了工程路径;猜测层面则在于其是否能在大规模动态数据流中维持长期稳定性,目前材料未提供相关证据。
来源:arXiv cs.CL · arxiv.org