通过对抗未更新探针进行对齐会失效，持续更新探针可提升诚实性与安全性

该论文提出一种基于探针引导的微调方法，通过在训练过程中直接利用检测模型内部激活中不良属性的探针作为信号，而非仅依赖输出结果来对齐模型。研究发现，使用在训练期间不更新的静态探针作为目标容易被模型规避，而持续更新的动态探针能显著降低有害性、提升诚实度，同时保持模型效用。

实验评估了线性与非线性探针在不同层数的配置下，针对无害性和诚实性两个目标的优化效果。结果显示，该方法在安全与效用的权衡上优于DPO和推理时引导技术，且对越狱攻击和abliteration攻击具有更强的鲁棒性。关键机制在于，微调后概念仍在线性编码中，意味着监督能力未被丧失，模型内部的可解释性得以保留。

事实层面，该方法通过内部激活信号而非输出信号定义目标；推断层面，随着模型能力提升，仅靠输出对齐可能失效，内部干预将变得重要；猜测层面，若探针更新频率不足或架构设计不当，可能引入新的对抗面，但当前数据支持其作为更稳健的对齐路径。