StepSafe: 基于上下文感知安全推理的及时干预学习框架

该论文提出ASPO（Adaptive Step-level Pre-fix and Self-distillation）训练框架，旨在解决智能体系统中安全干预时机滞后的问题。现有方法多依赖事后轨迹评估，而ASPO转向步骤级的行动诊断与主动风险预测，通过预固定阶段对齐为每个决策在对应步骤分配信用，比较同一前缀下的不同响应以奖励符合当前阶段的动作。

核心机制包含自适应反馈自蒸馏，模型自身作为教师利用步骤标注和从误报中挖掘的规则来强化推理过程。训练数据包含违规分类法和每一步的干预窗口，并通过自我进化的多智能体红队测试进行扩展。在五个智能体安全基准测试中，4B参数版本的StepSafe在安全-效用帕累托曲线上实现了Youden's J指数53.0，优于其他开源护栏的46.2。

事实层面，该研究明确定义了步骤级干预的时间窗口概念，并展示了在特定基准上的量化提升。推断层面，这种基于步骤证据累积的监督方式可能改变当前智能体护栏主要依赖静态规则或事后惩罚的训练范式。猜测层面，该方法在处理长序列复杂交互时的泛化能力仍需更多实际场景验证，且自蒸馏产生的规则质量高度依赖于初始误报数据的分布。