LEAN方法通过调制权重敏感性分布提升模型容错性

该论文提出 LEAN（Loss-Engineered Modulation）方法，通过系统性调整训练后模型的权重敏感度分布，将敏感权重从高风险区间转移至低风险区间，从而提升神经网络对比特翻转的容忍度。核心机制是在微调或训练最后阶段引入复合正则项，包含限制翻转步长的范围项和降低最敏感权重梯度的尾部项，仅用十个 epoch 即可在九个视觉模型上将敏感尾部缩小 5 到 13 倍，且精度损失控制在 0.5 点以内。 实证数据显示，经 LEAN 重塑权重的模型在使用 BCH 码覆盖超过 1% 的权重时，能抵御 300 次渐进式比特搜索翻转，部分种子甚至达到 500 次，而四种已发表的防御方案中有三种在 300 次翻转时失效，WCAT 在 500 次时降至 75%。此外，该方法使固定保障下的奇偶校验需求减少 3.7 倍，支持更激进的量化格式（如 8/6/4/3-bit），在 ImageNet ResNet-50 上实现 3.29-bit 权重负载，比 INT8 小 2.4 倍且精度优于 3-bit 的 LSQ。 事实层面，该方法已在 CIFAR-10、CIFAR-100 及 ImageNet 上的 ResNet 和 VGG 系列，以及三个小型语言模型上验证有效；推断层面，这种敏感度重分配机制可能为端侧部署提供新的容错与压缩协同路径；猜测层面，其是否适用于更大规模模型或特定硬件架构尚需进一步验证，但现有结果明确指向了模型鲁棒性与存储效率的双重优化潜力。