简单特征击败多数AI控制监控器且评估数据存在标签泄露

该论文指出在标准评估数据集上，无需运行代码的简单特征能击败大多数AI控制监控器，并击败了24个作为监控器的开源权重模型中的20个。研究发现数据集的标签通过两种主要方式泄露：一是人类编写的诚实代码与旧版语言模型编写的后门代码在风格上存在显著差异；二是能被大语言模型植入后门的特定问题本身具有区别于其他问题的特征，使得基于问题基本事实的特征即可区分类别。 实验显示，当将测试集中的部分类别替换为Claude Sonnet 5生成的代码时，区分度从0.79提升至0.95，证实了监控器实际上是在利用作者风格的对比而非真正的恶意行为检测能力。此外，标准测试集中约七分之一的后门样本未能通过有效性检查，这扭曲了攻击者之间的比较结果。验证后的数据显示，Sonnet 5监控器能捕获78%的已验证后门，但仅能捕获37%的Sonnet 5自身生成的后门，这一差距进一步表明当前高分并不等同于真实的破坏性检测能力。 虽然论文未直接证明已发布的监控器依赖这些捷径，但结论表明仅凭此类数据集的高分不足以作为检测到模型破坏行为的证据。事实层面确认了数据集构建偏差和监控器性能虚高；推断层面认为现有基准可能误导行业对安全工具成熟度的判断；猜测层面涉及未来监控器需重新设计以消除风格与问题特征泄露的影响。