Value Probes 提升红队审计成功率

该论文将语言模型的自动化红队审计重新定义为马尔可夫决策过程，并提出使用束搜索（beam search）结合价值估计来替代传统的单步审计策略。核心创新是“Value Probes”，即通过从目标模型的激活中线性探测来预测折扣后的未来奖励，从而作为启发式引导搜索路径。实验显示，在18种目标行为和3种规模模型上，该方法相比标准审计方法将峰值审计分数提高了约50%。 关键证据在于其效率与数据依赖性：Value Probes可以使用来自较小模型的离策略数据进行拟合，无需昂贵的后续语言模型跟进即可实现可比性能。这种机制将原本依赖复杂搜索树生成的问题转化为对模型内部状态的直接价值估算，显著降低了计算成本。文中还通过消融实验验证了各组件的有效性，确认了该方法在保持效果的同时具备更高的执行效率。 事实层面，该方法确实在特定基准上提升了审计得分并降低了算力消耗；推断层面，这暗示未来安全评估可能从纯生成式搜索转向基于内部状态的可解释性分析；猜测层面，若该技术被广泛采用，可能会改变大模型发布前的安全验收流程，使小型团队也能进行更深入的对抗性测试，但具体落地效果仍需更多行业实践验证。