Leaky ReLU架构下DNN参数恢复实验揭示预测一致非参数相同
先了解这件事
2026年10月27日，arXiv发布论文研究结合密码分析与蒸馏的DNN参数恢复方法。该研究对比了Leaky ReLU与ReLU在重构完全连接神经网络时的表现。实验显示，在最大合成架构中，Leaky ReLU能恢复最深隐藏层的51至57个神经元，而ReLU无法恢复任何神经元。研究进一步证明了方向恢复条件界限、局部距离投票保持及独立评分数据的符号选择机制。关键证据涉及对40...
AI 根据报道生成 · 3 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- arXiv cs.CRLeaky ReLU 架构下深度神经网络参数恢复实验显示预测一致不等于参数相同
该论文研究了结合密码分析权重方向提取与基于预测标签学习的完全连接神经网络重构方法，重点比较了 Leaky ReLU 与 ReLU 在参数恢复上的表现。实验表明，在最大的合成架构中，Leaky ReLU 能恢复最深隐藏层的 51 至 57 个神经元，而 ReLU 则无法恢复任何神经元，但这一优势在不同架构和层间并不均匀。研究还证明了带有近似前缀的方向恢复条件界限、局部距离投票的保持以及独立评分数据的符号选择机制。 关键证据在于对 40 次种子运行的测试：在两个最小的合成受害者上，排除拟合和选择的 5,000 个输入的一致性范围从 0.9890 到 0.9992；在两个 CIFAR-10 受害者上，重构模型的预测一致性分别达到 56.40% 和 58.29%，并在三个功能指标上超过了蒸馏基线。然而，作者明确指出，移除受害者权重访问会导致符号准确性下降，尽管最终预测高度一致。这直接挑战了仅凭预测一致性来识别网络参数的传统假设。 事实层面，Leaky ReLU 在特定条件下优于 ReLU，且高预测一致性不能等同于参数被成功恢复。推断层面，这意味着现有的模型提取防御或评估可能过度依赖输出一致性作为安全指标，忽略了内部参数结构的差异。猜测层面，如果攻击者利用这种“高一致性低参数还原”的特性进行对抗样本生成，可能会绕过基于参数指纹的检测机制，但这需要进一步验证。
本事件热度走势
当前热度 8·可比范围峰值 9（10月27日 16:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。