arXiv cs.AI· Tianshi Wang, Jingsong Wang, Fengling Li, Jingjing Li, Xin Li, Lei Zhu·· 5 小时前AI 评分75
CNRF框架通过证据化风险场实现视觉语言模型的 selective safety 并降低误拒
Counterfactual Neighborhood Risk Fields: Evidence-Grounded Selective Safety for Vision-Language Models
AI 摘要
该论文提出Counterfactual Neighborhood Risk Fields(CNRF)框架,旨在解决现有基于表示的安全防御无法区分风险分数含义及可信时机的问题。CNRF通过构建上下文匹配的良性-有害反事实对,利用其表示差异作为能力相关风险方向,并将邻域支持度与风险估计分离,从而防止不熟悉感被混淆为有害性,实现选择性干预而非 blanket rejection。
在三个视觉语言模型和五种多模态越狱家族上的实验显示,CNRF实现了86.06%至89.30%的宏观防御成功率,同时保留了显著的良性任务效用。受控实验进一步表明,查询匹配的参考和保留的方向对应关系显著提升了低风险假阳性环境下的风险排序效果。受害者自适应接口允许根据不同架构的安全观察结果路由请求,进行同受害者响应审查,释放可接受候选或生成受限替代方案。
事实层面,该研究验证了将风险与熟悉度解耦的有效性;推断层面,这种机制可能改变当前VLM安全系统过度依赖静态边界而忽视上下文动态性的工程实践;猜测层面,该框架是否适用于实时高并发场景仍需后续部署数据验证。
来源:arXiv cs.AI · arxiv.org