Leaky ReLU 架构下深度神经网络参数恢复实验显示预测一致不等于参数相同

该论文研究了结合密码分析权重方向提取与基于预测标签学习的完全连接神经网络重构方法，重点比较了 Leaky ReLU 与 ReLU 在参数恢复上的表现。实验表明，在最大的合成架构中，Leaky ReLU 能恢复最深隐藏层的 51 至 57 个神经元，而 ReLU 则无法恢复任何神经元，但这一优势在不同架构和层间并不均匀。研究还证明了带有近似前缀的方向恢复条件界限、局部距离投票的保持以及独立评分数据的符号选择机制。

关键证据在于对 40 次种子运行的测试：在两个最小的合成受害者上，排除拟合和选择的 5,000 个输入的一致性范围从 0.9890 到 0.9992；在两个 CIFAR-10 受害者上，重构模型的预测一致性分别达到 56.40% 和 58.29%，并在三个功能指标上超过了蒸馏基线。然而，作者明确指出，移除受害者权重访问会导致符号准确性下降，尽管最终预测高度一致。这直接挑战了仅凭预测一致性来识别网络参数的传统假设。

事实层面，Leaky ReLU 在特定条件下优于 ReLU，且高预测一致性不能等同于参数被成功恢复。推断层面，这意味着现有的模型提取防御或评估可能过度依赖输出一致性作为安全指标，忽略了内部参数结构的差异。猜测层面，如果攻击者利用这种“高一致性低参数还原”的特性进行对抗样本生成，可能会绕过基于参数指纹的检测机制，但这需要进一步验证。