Beacon框架解决GRPO在推理模型安全对齐中的失效模式

该论文针对大推理模型（LRMs）在使用GRPO进行安全对齐时存在的不足，识别出优势坍塌和不安全多样化两种失效模式，并提出名为Beacon的新框架。优势坍塌指同质化采样组导致优势信号消失，而不安全多样化则表现为不安全行为持续且日益分散。理论分析表明，组内行为一致性削弱了安全对比，而熵正则化在相对信号消失时会加剧不安全响应的多样化。 Beacon框架包含两个核心组件：安全信号恢复（SSR）和安全效用解耦对齐（SUDA）。SSR结合基于优势的轨迹过滤和安全参考监督，旨在恢复有效的安全学习信号；SUDA采用类别感知奖励和仅良性KL锚定，以在不牺牲安全性的前提下缓解过度拒答。实验在四个Qwen3和DeepSeek-R1-Distill变体及八个基准测试上进行，结果显示该框架实现了最佳的安全和推理性能平均表现，将平均安全错误降低了高达32.83个百分点，同时保持了较低的过度拒答率。 事实层面，论文明确指出了GRPO在特定场景下的局限性并提出了具体改进方案，实验数据基于指定的模型变体和基准。推断层面，该方案可能成为未来推理模型安全对齐的标准实践之一，特别是对于需要高安全阈值的应用场景。猜测层面，该方法在其他非推理类大语言模型上的泛化效果尚需验证，且其计算开销是否显著高于现有方法未在文中详述。