VLM安全几何随深度变化及拒绝控制机制研究

该论文提出一种轻量级推理时框架，在冻结参数的Vision-Language Models (VLM) 中定位并操纵安全敏感表示，无需重新训练或修改参数。通过对Qwen3-VL-4B和InternVL2.5-4B的分析，研究发现安全几何在深度上分布不均：早期视觉层支持通过沿学习到的安全方向进行激活引导（activation steering）实现强双向拒绝控制，不安全拒绝率跨度为6%-96%；而较深层主要响应激活幅度缩放，表现出显著的安全选择性权衡。 因果干预实验进一步区分了表征可分性与因果可控性：深层虽然沿安全方向保持良好分离，但对引导操作基本不敏感。这一发现暴露了VLM视觉编码器中存在白盒、表示层面的拒绝绕过攻击面。尽管不同模型在层位置和幅度上存在差异，但InternVL2.5-4B显示出定性相似的深度依赖激活几何特征。 事实层面确认了VLM内部安全机制的非均匀性及早期层的高可控性；推断表明现有基于黑盒测试的安全评估可能低估了特定架构下的攻击风险；猜测部分认为未来可能需要针对推理时的安全敏感表示进行专门稳定化处理，而非仅依赖微调或参数修改。