安全探针性能预测的缩放定律研究

该研究通过构建六个大规模高难度安全数据集，在五个模型家族的二十个基础模型上训练两种探针架构，发现安全探针的误差（1-AUROC）严格遵循两条简单的缩放定律：最低可达误差随模型尺寸呈幂律下降，而误差向下限收敛的速度随样本数量增加且斜率随目标模型尺寸增大而变陡。 实证数据显示，仅利用最小模型的拟合参数即可将下一更大模型的误差预测精度控制在0.02以内（72%的情况），并能以73%的准确率判断是增加标签还是扩大模型更能经济地达到目标误差；在探针架构选择上，该法则平均仅带来0.006的额外误差。这些规律跨越任务、模型家族和探针架构类型，仅拟合常数存在差异。 事实层面，研究证实了探针性能可被模型大小和标签数预先预测，无需反复训练比较。推断层面，这意味着安全监测系统的构建成本结构将发生根本变化，研发者可根据预算直接计算最优配置而非依赖经验试错。猜测层面，若该规律在更复杂的对抗性攻击或长上下文场景下依然成立，可能重塑大模型安全对齐的自动化流程，但需警惕当前数据集是否已覆盖所有潜在危害维度。